Opracowanie:
Łańcuchy markowa

Łańcuchy markowa

Zweryfikowane

Łańcuchy Markowa są procesami Markowa z czasem dyskretnym. Proces Markowa jest ciągiem zdarzeń. W nim prawdopodobieństwo każdego zdarzenia zależy tylko od wyniku poprzedniego. Są to takie procesy stochastyczne, które spełniają własność Markowa.

Łańcuch Markowa to ciąg {displaystyle X_{1},X_{2},X_{3},dots } zmiennych losowych. Dziedziną zmiennych jest przestrzeń stanów, natomiast realizacje {displaystyle X_{n}} są stanami w czasie n. Kiedy rozkład warunkowy {displaystyle X_{n+1}} to funkcja tylko zmiennej {displaystyle X_{n}} w postaci: {displaystyle P(X_{n+1}leqslant y|X_{0},X_{1},X_{2},dots ,X_{n})=P(X_{n+1}leqslant y|X_{n}),} to proces stochastyczny ma własność Markowa.

Rozkładem początkowym łańcuchów Markowa jest rozkład zmiennej {displaystyle X_{0}.}

Kiedy łańcuch Markowa jest jednorodny, to rozkład prawdopodobieństw przejść pomiędzy danymi stanami przedstawiony być może jako macierz, a dokładnie macierz prawdopodobieństw przejścia. Ta macierz stochastyczna oznaczana jest jako {displaystyle mathbf {P} ,} gdzie wyraz (i,j) oznacza się jako: p_{i,j}=P(X_{n+1}=jmid X_{n}=i). Co ważne, {displaystyle p_{i,j}} nie zależy od n. Wynika to z jednorodności.

W n krokach prawdopodobieństwem przejścia ze stanu i do stanu j jest prawdopodobieństwo warunkowe {displaystyle p_{i,j}^{(n)}=P(X_{m+n}=j|X_{m}=i).} Dla prawdopodobieństw przejść musi być spełnione równanie, nazywane równaniami Chapmana-Kołmogorowa w postaci: {displaystyle p_{i,j}^{(n+m)}=sum _{kin E}p_{i,k}^{(n)}p_{k,j}^{(m)}.} Jeśli chce się przejść do stanu j, w trakcie można przejść przez dowolny jeszcze inny stan skomunikowany z j oraz i. Jeśli zastosuje się zapis macierzowy, to równania Chapmana-Kołmogorowa można przedstawić jako: {displaystyle mathbf {P} ^{m+n}=mathbf {P} ^{m}mathbf {P} ^{n},} gdzie {displaystyle mathbf {P} ^{n}} to macierz przejść w n krokach.

Powyższe zadanie zostało zweryfikowane przez nauczyciela
To top