Opracowanie:
Łańcuchy markowa
Łańcuchy markowa
Łańcuchy Markowa są procesami Markowa z czasem dyskretnym. Proces Markowa jest ciągiem zdarzeń. W nim prawdopodobieństwo każdego zdarzenia zależy tylko od wyniku poprzedniego. Są to takie procesy stochastyczne, które spełniają własność Markowa.
Łańcuch Markowa to ciąg zmiennych losowych. Dziedziną zmiennych jest przestrzeń stanów, natomiast realizacje
są stanami w czasie
Kiedy rozkład warunkowy
to funkcja tylko zmiennej
w postaci:
to proces stochastyczny ma własność Markowa.
Rozkładem początkowym łańcuchów Markowa jest rozkład zmiennej
Kiedy łańcuch Markowa jest jednorodny, to rozkład prawdopodobieństw przejść pomiędzy danymi stanami przedstawiony być może jako macierz, a dokładnie macierz prawdopodobieństw przejścia. Ta macierz stochastyczna oznaczana jest jako gdzie wyraz
oznacza się jako:
Co ważne,
nie zależy od
Wynika to z jednorodności.
W krokach prawdopodobieństwem przejścia ze stanu
do stanu
jest prawdopodobieństwo warunkowe
Dla prawdopodobieństw przejść musi być spełnione równanie, nazywane równaniami Chapmana-Kołmogorowa w postaci:
Jeśli chce się przejść do stanu
, w trakcie można przejść przez dowolny jeszcze inny stan skomunikowany z
oraz
Jeśli zastosuje się zapis macierzowy, to równania Chapmana-Kołmogorowa można przedstawić jako:
gdzie
to macierz przejść w
krokach.