Моделирование цепей Маркова с дискретным временем - часть 3
, Еj), составляется матрица вероятностей переходов:
|
P = |
Р11 |
Р12 |
... |
Р1n |
|
|
Р21 |
Р22 |
... |
Р2n |
|
|
|
... |
... |
... |
... |
, |
|
|
Рn1 |
Рn2 |
... |
Рnn |
|
где
Данная матрица называется стохастической. Если характеристики установившегося режима не зависят от начальных вероятностей Рi (0), то такая марковская цепь называется эргодической.
Процесс моделирования рассмотренной цепи Маркова состоит в получении последовательности состояний Е1 , Е2 ... Еn в соответствии с заданной матрицей переходов. Алгоритм моделирования будет основан на определении марковской цепи, а именно на том, что исход каждого последующего перехода зависит только от результата предыдущего. При моделировании необходимо взять (n+1) участков (0, 1). Первый участок разбивается на отрезки в соответствии с вероятностями начальных состояний системы Pi
(0),
При моделировании вначале определяется начальное состояние
системы. Для этого разыгрывается случайное число r , равномерно распределенное на участке (0, 1), Затем, согласно вышеописанной процедуре моделирования дискретной случайной величины, определяется состояние Sk
, исходя из условия рк (0) < r < Pk+1 (0) для первого участка. Вновь разыгрывается следующее случайное число и сравнивается с вероятностями К, строки матрицы Рki . Состояние системы не изменится при условии Рк,к < r < Рк,к+1 или осуществится переход в следующее состояние при условии
pkj < r < pkj + i .
Дальнейшие шаги моделирования идентичны. При большом числе испытаний N система Lk раз будет находиться в К состоянии.Отношение Lk /N будет соответствовать вероятности К состояния (P(Sk) = Lk /N). Коэффициент готовности системы для рассматриваемого примера будет определяться суммой вероятностей Кr = Р (S0) + Р ( S1 ).
Таким образом, путем статистического моделирования можно определить вероятности отдельных состояний дискретной цепи Маркова, а на основе этих вероятностей — необходимые характеристики системы.