1. مسئله: یک زنجیره مارکف با فضای حالت $S=\{0,1,2,3,4\}$ داریم که احتمال انتقال از حالت $r$ به $r+1$ برابر $\frac{2}{3}$ و به $r-1$ برابر $\frac{1}{3}$ است برای $r=1,2,3$. حالتهای $0$ و $4$ جذبکننده هستند.
2. هدف: محاسبه احتمال رسیدن به حالت جذبکننده $4$ شروع از حالتهای اولیه $1,2,3$ با توجه به توزیع اولیه $Pr(X_1=1)=Pr(X_1=2)=Pr(X_1=3)=\frac{1}{3}$ و $Pr(X_1=0)=Pr(X_1=4)=0$.
3. تعریف متغیر: فرض کنیم $h_r$ احتمال رسیدن به حالت $4$ شروع از حالت $r$ باشد.
4. شرایط مرزی:
$$h_0=0, \quad h_4=1$$
5. معادلات بازگشتی برای $r=1,2,3$:
$$h_r = \frac{2}{3}h_{r+1} + \frac{1}{3}h_{r-1}$$
6. معادلات به صورت صریح:
$$h_1 = \frac{2}{3}h_2 + \frac{1}{3}h_0 = \frac{2}{3}h_2 + 0$$
$$h_2 = \frac{2}{3}h_3 + \frac{1}{3}h_1$$
$$h_3 = \frac{2}{3}h_4 + \frac{1}{3}h_2 = \frac{2}{3} \times 1 + \frac{1}{3}h_2 = \frac{2}{3} + \frac{1}{3}h_2$$
7. جایگذاری معادلات:
از معادله $h_1$ داریم:
$$h_1 = \frac{2}{3}h_2$$
از معادله $h_2$:
$$h_2 = \frac{2}{3}h_3 + \frac{1}{3}h_1 = \frac{2}{3}h_3 + \frac{1}{3} \times \frac{2}{3}h_2 = \frac{2}{3}h_3 + \frac{2}{9}h_2$$
انتقال همه جملات $h_2$ به یک طرف:
$$h_2 - \frac{2}{9}h_2 = \frac{2}{3}h_3 \Rightarrow \frac{7}{9}h_2 = \frac{2}{3}h_3 \Rightarrow h_2 = \frac{2}{3}h_3 \times \frac{9}{7} = \frac{6}{7}h_3$$
8. جایگذاری $h_2$ در معادله $h_3$:
$$h_3 = \frac{2}{3} + \frac{1}{3}h_2 = \frac{2}{3} + \frac{1}{3} \times \frac{6}{7}h_3 = \frac{2}{3} + \frac{2}{7}h_3$$
انتقال $h_3$ به یک طرف:
$$h_3 - \frac{2}{7}h_3 = \frac{2}{3} \Rightarrow \frac{5}{7}h_3 = \frac{2}{3} \Rightarrow h_3 = \frac{2}{3} \times \frac{7}{5} = \frac{14}{15}$$
9. محاسبه $h_2$ و $h_1$:
$$h_2 = \frac{6}{7}h_3 = \frac{6}{7} \times \frac{14}{15} = \frac{12}{15} = \frac{4}{5}$$
$$h_1 = \frac{2}{3}h_2 = \frac{2}{3} \times \frac{4}{5} = \frac{8}{15}$$
10. احتمال کل رسیدن به حالت $4$ با توجه به توزیع اولیه:
$$Pr = Pr(X_1=1)h_1 + Pr(X_1=2)h_2 + Pr(X_1=3)h_3 = \frac{1}{3} \times \frac{8}{15} + \frac{1}{3} \times \frac{4}{5} + \frac{1}{3} \times \frac{14}{15}$$
11. محاسبه نهایی:
$$Pr = \frac{8}{45} + \frac{12}{45} + \frac{14}{45} = \frac{34}{45}$$
نتیجه: احتمال رسیدن به حالت جذبکننده $4$ برابر است با $$\boxed{\frac{34}{45}}$$.
Markov Chain Absorption 696009
Step-by-step solutions with LaTeX - clean, fast, and student-friendly.