Markov zincirlerinin en önemli örneklerinden biri ölüm ve üreme süreci olarak bilinmektedir. Bu süreç kesikli ya da sürekli zamanlı olabilir ve belirleyici koşulu yalnızca komşu durumlara geçişlere izin verilmesidir.

Ölüm ve üreme sürecini sürekli zamanla ele alalım. Bu süreç popülasyon büyüklüğündeki değişikliklerin bir modelidir.

Süreç devletin elinde Ona, nüfusun hacmi (sayı) k'ye eşitse; devlete geçiş Ek nüfusun bir üyesinin ölümüne ve devlete geçişe karşılık gelir Ek+- doğum.

Bu süreç bir QS modeli olarak düşünülebilir. Ek karşılık gelir İle sistemdeki istekler ve duruma geçiş Ek- veya Ek+- Bir başvurunun sistemden çıkması veya gelmesi.

0, 1,2, ... durum kümesiyle ölüm ve üreme süreci için aşağıdaki koşulların karşılanması gerekir:

Burada P(+i; bt; k)- olasılık Ben sırasındaki doğumlar ama popülasyon büyüklüğünün eşit olması şartıyla İle; P(-i; bt; k)- olasılık Ben aynı koşullar altında ölenler

Bu şartlara göre birden fazla doğum, birden fazla ölüm ve kısa bir süre içinde eş zamanlı doğum ve ölümler, bu birden fazla olayın gerçekleşme olasılığının o(6r) mertebesinde küçük olması anlamında yasaktır. Bu özellik, daha önce gösterildiği gibi üstel dağılım özelliğinden kaynaklanmaktadır.

Belirli bir andaki nüfus büyüklüğünün şuna eşit olma olasılığını bulalım: k p(k, t) = P.

Belirli bir süre boyunca nüfus hacmindeki değişimi düşünün (t, t+ 5/). Zamanın bir anında t+bt süreç E durumunda olacak İle, birbirini dışlayan ve tam bir grup oluşturan üç olaydan biri meydana gelmişse:

• 1) şu anda T nüfus hacmi A:'ya eşitti ve bu süre zarfında ama durum değişmedi;
• 2) şu anda T nüfus büyüklüğü İle - 1 ve her seferinde ama nüfusun bir üyesi doğdu;
• 3) zamanın bir noktasında T nüfus büyüklüğü İle+ 1 ve süre için ama nüfusun bir üyesi öldü.

O zaman olasılık o zaman t+bt süreç eyalette olacak Ek, eşit

Yukarıdaki eşitlik yalnızca şu durumlarda anlamlıdır: >Çünkü bir popülasyon (-1) üyeden oluşamaz. Sınır eşitliği İle= O şu şekildedir:

Ayrıca normalizasyon şartının da sağlanması gerekmektedir.

(49.3) ve (49.5) denklemlerinde izolasyon r(k) ve bölerek bk aldık

Sınıra kadar gidiyor ama-> 0, elimizde:

Dolayısıyla, ele alınan olasılıksal süreç bir doğrusal diferansiyel denklem sistemi ile tanımlanır. Bu denklemler doğrudan durum diyagramından türetilebilir (Şekil 49.2).

Pirinç. 49.2.

Durum Ek sayının yazıldığı bir oval ile gösterilir İle. Durumlar arasındaki geçişler, geçişlerin yoğunluklarını temsil eden oklarla gösterilir.

Sistemin duruma girme yoğunluğu arasındaki fark Ek, ve onu terk ettiği yoğunluk, bu durumdaki akıştaki değişimin yoğunluğuna eşit olmalıdır.

Durum başına akış yoğunluğu

Durumdan akış yoğunluğu ~

Aralarındaki fark, olasılıkların duruma akışının etkin yoğunluğuna eşittir.

Bu sistemi genel haliyle çözmek mümkün değildir. Basit bir sistemin modeli bile son derece karmaşıktır ve analiz edilmesi zordur. Daha karmaşık tipte bir QS düşünürsek, hesaplama zorlukları daha da yüksek olacaktır. Bu nedenle (49.3) - (49.4) sisteminin çözümleri genellikle kararlı durumda kabul edilir. T-> ah, p"(k; t) -> 0,р(к, t) -> r(k)= sabit

Saf üreme süreci

Bu işlem için p*=O, A* = A = const. QS tarafından alınan başvuru akışının bir modeli olarak düşünülebilir. Bu işlem için denklem sistemi şu şekildedir:

Başlangıç ​​koşulları aşağıdaki gibi olsun:

Daha sonra ve k= 1 şunu elde ederiz: deneyim

Bu denklemin çözümü R(; /) = A/ exp (-AD Tümevarımla şunu elde edebiliriz:

Böylece olasılıklar Poisson yasasına göre dağıtılır.

Poisson süreci KYS araştırmasının merkezinde yer alır. Bunun nedeni öncelikle basitleştirici analitik ve olasılıksal özelliklerinden kaynaklanmaktadır; ikincisi, çok sayıda bireysel olayın kümülatif etkisinden kaynaklanan birçok gerçek süreci tanımlar.

Burada, kuyruk teorisinde temel bir rol oynayan, öldür ve yeniden üret süreci adı verilen sürekli zamanlı Markov süreci şemasını inceleyeceğiz.

Tanım 11.1. Bir sistemde meydana gelen sonlu sayıda durumla Markov süreci S, süreç denir ölüm ve üreme durum grafiği Şekil 2'de gösterilen yapıya sahipse. 11.1.

Bu grafiğin karakteristik özelliği, durumların her birinin S 2 ,..., S k,..., s n l soldaki ve sağdaki komşu durumlarının her birine ve ilk ve son durum Sj ve son durumlarına her iki yönde geçiş okları ile bağlanır. n komşu durumlarından yalnızca birine her iki yönde oklarla bağlanır: sırasıyla, s 2 Ve n_v Böylece sistem S,Ölüm ve üreme sürecinin gerçekleştiği herhangi bir devletten yalnızca komşu devletlerden birine doğrudan geçiş yapabilir. Bu durumda "üreme" derken soldan sağa oklar boyunca uzanan süreci, "ölüm" derken ise sağdan sola oklar boyunca uzanan süreci anlayacağız.

“Ölüm ve üreme süreci” adı, nüfus büyüklükleri, salgın hastalıkların yayılması vb. ile ilgili biyolojik sorunların matematiksel modellenmesine dayanmaktadır.

Şekil 2'de ölüm ve üreme sürecini sürekli zamanla ve etiketli durum grafiğiyle ele alalım. 11.2.

Ölüm ve üreme süreçlerindeki geçişlere ilişkin olasılık yoğunluk matrisi tabloda sunulmaktadır (s. 124).

Durum olasılıkları için /?,(/), p 2 (t), ...,p k (t), -, P P_((/), Pn(t)§ 4'te verilen iki kuraldan birine göre, bu durumda (11.1) formuna sahip olacak bir Kolmogorov diferansiyel denklemler sistemi oluşturmak mümkündür:

Markov süreci homojen ise (yani Poisson akışları durağansa), geçiş olasılığı yoğunlukları (akış yoğunlukları) Hu sistem (11.1) zamana bağlı değildir T; aksi takdirde Hu zamanın bazı işlevlerini temsil eder: Xy = Xy(t).

Sistem (11.1) başlangıç ​​olasılık dağılımı /7j(0), ..., ile çözülür. r p ( 0), normalleştirme koşulunu sağlıyorsa /?j(0) + ... + /> n (0) = 1. Sistem (11.1)'in çözümü aynı zamanda normalleştirme koşulunu da sağlamalıdır. p x (t)+... + pn(t)) = 1 herhangi bir zamanda T.

Homojen ölüm ve üreme sürecinin durum grafiğinden (bkz. Şekil 11.1), sistemin ergodikliği doğrudan görülebilir. S. Dolayısıyla sürecin Markov özelliğinden Teorem 10.1'e göre durumların nihai olasılıklarının varlığı şu şekildedir: pv ..., r s.

Teorem 11.1. Nihai olasılıklar p v ..., Sürekli zamanla ölüm ve üreme sürecinin rn'si aşağıdaki formüller kullanılarak hesaplanabilir:

Kanıt:§ 10'da verilen üç kuraldan birini kullanarak bir doğrusal cebirsel denklem sistemi oluşturalım:

(diferansiyel denklem sistemi (11.1) ile karşılaştırın).

(11.4) sisteminin katsayı matrisi aşağıdaki forma sahip olacaktır:

Bu matrisin görünümünü basitleştirmek için satırlarının aşağıdaki temel dönüşümlerini gerçekleştireceğiz: 1. satırı 2. satıra ekleyeceğiz; ortaya çıkan 2. satırı 3. satıra ekleyin vb.; kabul edilmiş (P- 1. satırı ekleyin N satır. Sonuç olarak bir matris elde ederiz, sonuncusu (P- i) satırı boş olan ve bu nedenle atılabilir.

Böylece durumların sınırlayıcı olasılıkları pv ..., r p matris (11.5)'e karşılık gelen doğrusal cebirsel denklemler sistemini karşılar:

ve normalizasyon koşulu

(11.3) dikkate alınarak sistemin 1. denkleminden (11.6) k= 2:

(11.8) ve (11.3) dikkate alınarak sistemin 2. denkleminden (11.6) k= 3: (11.9) ve (11.3) dikkate alınarak sistemin (11.6) 3. denkleminden k = 4: ve benzeri,

Böylece (11.2)'nin ikinci satırındaki formülün geçerliliğini kanıtlamış olduk. (11.2)'nin ilk satırındaki formülü kanıtlamak için, (11.8), (11.9), (11.10)'u normalleştirme koşuluna (11.7) koyarız:

gerekli eşitliği nereden elde ederiz

Formül (11.3)'ün sağ tarafı şu şekilde yapılandırılmıştır: pay, geçiş olasılık yoğunlukları A,..,'nin çarpımını içerir.

A 12 12'den başlayıp biten X k_(k, ikinci indeks nerede İleçarpan X k _ x k

indeksle eşleşiyor ve, burada her A faktörünün ilk indeksi .J, ikinci A 23'ten başlayarak önceki çarpanın ikinci endeksine denk gelir; paydada paydaki çarpımdan kaynaklanan faktörlerin bir çarpımı vardır, eğer ikincisinde her bir faktör varsa X.. takas endeksleri: . G

Geçiş olasılığı yoğunluk matrisi A açısından, formül (11.3)'ün sağ tarafı, süper köşegen elemanların çarpımının kare matrisin alt köşegen elemanlarının çarpımına oranıdır. İle-inci sıra, birinciden oluşur İleçizgiler ve ilk İle A matrisinin sütunları.

Etiketli bir sistem durumu grafiği açısından S(bkz. Şekil 11.2) formülün (11.3) sağ tarafı, payı, birinciden başlayıp biten oklar boyunca soldan sağa geçişlerin tüm olasılık yoğunluklarının ürünü olan bir kesirdir. İle-th durumu ve payda, durumdan sağdan sola oklar boyunca ters geçişlerin tüm olasılık yoğunluklarının ürünüdür

Sk DURUMA KADAR S J.

Formül (11.2)'deki tüm nihai olasılıklar pv ..., r p nihai olasılık cinsinden ifade edilir ry(11.6) sistemini çözerken, bunları herhangi bir diğer sınırlayıcı olasılık cinsinden ifade etmek mümkün olacaktır.

Çoğunlukla sistem durumlarını numaralandırma S birden değil sıfırdan başlayın: s Q, s v ..., n. Bu durumda formül (11.2) ve (11.3) sırasıyla şu şekli alır:

Örnek 11.1. Menkul kıymetler piyasası araştırmasından elde edilen veriler, belirli bir anonim şirketin bir hissesinin piyasa fiyatının 1000 ila 2000 ruble arasında dalgalanabileceğini gösterdi. dahil. Bir sistem olarak kabul edilir S Böyle bir hisse senedi varsa, hissenin piyasa fiyatına göre karakterize edilen aşağıdaki beş durumuyla ilgileneceğiz:

Sj - 1000 ila 1200 ruble; s 2 - 1200 ila 1400 ruble;

• 5 3 - 1400 ila 1600 ruble; s 4 - 1600 ila 1800 ruble;
• 5 5 - 1800 ila 2000 ovmak. dahil.

Gelecekteki piyasa fiyatının esas olarak şu andaki fiyatına bağlı olduğu kaydedildi. Rastgele piyasa etkileri nedeniyle, bir hissenin piyasa fiyatında herhangi bir rastgele anda bir değişiklik meydana gelebilir, fiyattaki mutlak değişiklik ise 200 rubleyi geçmez. Sistem geçişleri S bir durumdan diğerine aşağıdaki geçiş olasılık yoğunlukları ile meydana gelir ve zaman içinde ihmal edilebilir düzeyde değişir:

Bir hisse senedinin gelecek için piyasa fiyatını tahmin etmeniz gerekir. 1.700 ruble fiyata hisse satın almaya değer mi?

Sistemden beri S belirtilen beş durumdan yalnızca birinde olabilirse, sistem 5'te meydana gelen süreç ayrıktır.

Bir hisse senedinin gelecekteki fiyatı önemli ölçüde şimdiki fiyatına bağlı olduğundan, bu süreç bir Markov süreci olarak düşünülebilir.

Bir hisse senedinin fiyatında herhangi bir rastgele anda değişiklik meydana gelebileceğinden dolayı sistemdeki süreç S sürekli bir zaman sürecidir.

Hisse fiyatındaki mutlak değişim 200 rubleyi geçmediğinden bu, sistemin S yalnızca komşu bir ülkeye gidebilir, yani. hiçbir sıçrama olamaz.

Ve son olarak geçiş olasılık yoğunlukları sabit kabul edilebildiğinden süreç homojendir.

Yani sistemde S sürekli zamanlı homojen bir Markov ayrık süreci meydana gelir.

Bu A matrisini kullanarak etiketli bir durum grafiği oluşturuyoruz:

Bu grafikten (A matrisinden de görülebilmektedir) bu sürecin bir ölüm ve üreme süreci olduğu açıkça görülmektedir. Nihai olasılıklar p v p v p v p v p 5 var olmak. Bunları « = 5'te (11.2) formülünü kullanarak bulalım. Bunu yapmak için önce (11.3) formülünü kullanarak a 2, a 3, a 4, a 5 sayılarını hesaplayın.

Daha sonra birinci satırdaki formüle göre (11.2)

İkinci satırdaki (11.2) formüllere göre:

Böylece büyük ihtimalle (p3 = 16/39 > r r/=1,2,4, 5) sistemi S yapabilecek s 3 53, yani hisse fiyatı 1400 ila 1600 ruble arasında olacak. Bu nedenle bu hisseleri 1.700 ruble fiyatla satın alın. buna değmez. ?

KISA ÖZET

• Ölüm ve üreme süreci, sistemde sürekli zamanın meydana geldiği Markov homojen süreci olarak tanımlanır. S,Şekil 2'deki yapıya sahip sonlu sayıda durumun grafiği. 11.1.
• Ölüm ve üreme süreci için (11.2) veya (11.1) formüllerinden bulunabilecek son olasılıklar vardır.

ANAHTAR KELİMELER VE İFADELER

Sonlu sayıda durumla Markov süreci; ölüm ve üreme süreci; sürekli zamanla ölüm ve üreme süreci; ölüm ve üreme sürecinin gerçekleştiği sistemin durumlarının nihai olasılıkları; matrisin ana köşegeni; matris köşegen üstü; matrisin alt köşegeni.

KENDİNİ KONTROL İÇİN SORULAR

• 1. Ölüm ve üreme sürecini tanımlayabilecektir.
• 2. Ölüm ve üreme sürecinin gerçekleştiği sistemin durum grafiğinin yapısının karakteristik özelliği nedir?
• 3. Ölüm ve üreme sürecine ilişkin geçiş olasılık yoğunlukları matrisinin biçimi nedir?
• 4. Ölüm ve üreme sürecine ilişkin nihai olasılıkları hesaplamak için hangi formüller kullanılabilir?

§ 11 İÇİN GÖREVLER

11.1. Geçiş olasılık yoğunlukları matrisi aşağıdaki şekle sahipse, Örnek 11.1'deki soruları yanıtlayın.

GÖREV § 11'İN CEVAPLARI

5. Üreme ve ölüm süreçleri.

Üreme ve ölüm süreçleri, Markov rastgele süreçlerinin özel bir durumudur; yine de, işleyişin stokastik doğasına sahip ayrık sistemlerin incelenmesinde çok geniş uygulama alanı bulmaktadır. Üreme ve ölüm süreci, durumdan geçişlerin olduğu bir Markov rastgele sürecidir. E ben yalnızca komşu eyaletlerde geçerlidir E ben- 1 , E ben Ve E ben+1. Üreme ve ölüm süreci, biyolojik popülasyonların hacminde meydana gelen değişiklikleri açıklamak için yeterli bir modeldir. Bu modele göre sürecin bir durumda olduğu söyleniyor E ben popülasyon büyüklüğü ise Benüyeler. Bu devletten bir geçiş olduğunda E ben bir durumda E ben+1 doğuma ve geçişe karşılık gelir E ben V E i-1- nüfus hacminin birden fazla değişmeyeceği varsayılarak ölüm; bu, üreme ve ölüm süreçlerinde aynı anda birden fazla doğuma ve/veya ölüme izin verilmediği anlamına gelir.

Ayrık üreme ve ölüm süreçleri, sürekli olanlardan daha az ilgi çekicidir, bu nedenle aşağıda ayrıntılı olarak tartışılmayacaktır ve asıl dikkat sürekli süreçlere verilecektir. Ancak ayrık süreçler için neredeyse paralel hesaplamaların gerçekleştiğine dikkat edilmelidir. Üreme ve ölüm sürecinin devletten geçişi E ben duruma geri dön E ben yalnızca ayrık Markov zincirleri için doğrudan ilgi çekicidir; sürekli durumda sürecin mevcut duruma dönme hızı sonsuza eşittir ve bu sonsuzluk tanıma (13) göre hariç tutulmuştur.

Ayrık zamanlı bir üreme ve ölüm süreci söz konusu olduğunda, durumlar arasındaki geçiş olasılıkları

Burada ben mi- bir sonraki adımda (biyolojik popülasyon açısından) bir ölümün meydana gelme olasılığı, popülasyon büyüklüğünü Ben-1, bu adımda nüfus hacminin eşit olması şartıyla Ben. Aynı şekilde, ben- Bir sonraki adımda doğum olasılığı, nüfus hacminde artışa yol açacak Ben+1; 1-ben mi-ben bu olayların hiçbirinin gerçekleşmeme ve bir sonraki adımda popülasyon büyüklüğünün değişmeme olasılığını temsil eder. Yalnızca bu üç olasılığa izin verilir. Açık ki D 0 =0, çünkü ölecek kimse yoksa ölüm gerçekleşemez.

Ancak sanılanın aksine, öyle varsayılıyor B 0 >0, popülasyonda tek bir üye olmadığında doğum olasılığına karşılık gelir. Her ne kadar bu kendiliğinden doğum ya da ilahi yaratım olarak kabul edilse de ayrık sistemler teorisinde böyle bir model tamamen anlamlı bir varsayımdır. Yani model şu şekildedir: Nüfus sistemdeki bir talep akışını temsil eder, ölüm bir talebin sistemden ayrılması anlamına gelir, doğum ise sisteme yeni bir talebin girişine karşılık gelir. Böyle bir modelde yeni bir talebin (doğumun) serbest bir sisteme girmesinin oldukça mümkün olduğu açıktır. Genel üreme ve ölüm süreci için geçiş olasılığı matrisi aşağıdaki forma sahiptir:

Markov zinciri sonlu ise matrisin son satırı şu şekilde yazılır; bu, popülasyon maksimum boyutuna ulaştıktan sonra hiçbir üremeye izin verilmediği anlamına gelir N.

Matris T yalnızca ana ve ona en yakın iki köşegende sıfır terim içerir. Bu özel matris türü nedeniyle TÜreme ve ölüm sürecinin analizinin zorluk yaratmamasını beklemek doğaldır.

Ayrıca, devletten geçişlerin olduğu sürekli üreme ve ölüm süreçlerini ele alacağız. E ben yalnızca komşu ülkeler için mümkün E i-1(ölüm) ve E ben+1(doğum). ile belirtelim benBenüreme yoğunluğu; hacimli bir popülasyonda üremenin meydana gelme hızını tanımlar Ben. Aynı şekilde, aracılığıyla MBen hacimli bir popülasyonda ölümün meydana gelme hızını belirten ölüm yoğunluğunu belirtelim Ben. Üreme ve ölümün ortaya çıkan yoğunluklarının zamana bağlı olmadığını, yalnızca duruma bağlı olduğunu unutmayın. E ben bu nedenle üreme ve ölüm türünde sürekli homojen bir Markov zinciri elde ederiz. Bu özel notasyonlar, ayrık sistemler teorisinde benimsenen notasyonlara doğrudan yol açtığı için tanıtılmıştır. Daha önce tanıtılan gösterime bağlı olarak elimizde:

benBen= peki ben , Ben +1 Ve MBen= peki ben , Ben -1 .

Yalnızca en yakın komşu devletlere geçişlerin kabul edilebilir olması gerekliliği, (14)'e dayanarak, qii=-(MBen+ benBen). Böylece genel homojen üreme ve ölüm sürecinin geçiş yoğunluğu matrisi şu şekli alır:

Ana köşegen ve ona bitişik alt ve üst köşegenler hariç, matrisin tüm elemanlarının sıfıra eşit olduğuna dikkat edin. Karşılık gelen geçiş yoğunluğu grafiği Şekil 2'de gösterilmektedir. 4.

Sürekli bir üreme ve ölüm sürecinin daha kesin bir tanımı şu şekildedir: Bazı süreçler, birçok duruma sahip homojen bir Markov zinciri ise, bir üreme ve ölüm sürecidir ( E 0, E 1, E 2, ...), eğer doğum ve ölüm bağımsız olaylarsa (bu doğrudan Markov özelliğinden kaynaklanır) ve aşağıdaki koşullar karşılanırsa:

1) Pr [zaman aralığında tam olarak 1 doğum ( T,T+ Δ T)| nüfus büyüklüğü Ben]= ;

2) Pr [zaman diliminde tam 1 ölüm ( T,T+ Δ T)| nüfus büyüklüğü Ben]= ;

3) Pr [zaman aralığında tam olarak 0 doğum ( T,T+ Δ T)| nüfus büyüklüğü Ben]= ;

4) Pr [zaman diliminde tam olarak 0 ölüm ( T,T+ Δ T)| nüfus büyüklüğü Ben]= .

Bu varsayımlara göre çoklu doğumlar, çoklu ölümler ve kısa bir süre içinde eş zamanlı doğum ve ölümler söz konusudur. T, T+ Δ T) bu tür kısa olayların olasılığının önemli olması anlamında yasaktır O(Δ T).

Zamanın belirli bir noktasında sürekli bir üreme ve ölüm sürecinin yaşanma olasılığı T bir durumda E ben(nüfus büyüklüğü Ben) doğrudan (16) formundan belirlenir

Durağan olmayan durumda ortaya çıkan diferansiyel denklem sistemini çözmek için, olasılıklar P ben(T), Ben=0,1,2,…, zamana bağlı olarak başlangıç ​​olasılık dağılımını ayarlamak gerekir P ben(0), Ben=0,1,2,…, en T=0. Ayrıca normalizasyon şartının da sağlanması gerekmektedir.

Şekil 4. Üreme ve ölüm süreci için geçiş yoğunluklarının grafiği.

Şimdi, bir süreç olarak tanımlanan, saf yeniden üretimin en basit sürecini ele alalım. MBen= hepsi için 0 Ben. Ayrıca sorunu daha da basitleştirmek için şunu varsayalım: benBen=ben herkes için Ben=0,1,2,... . Bu değerleri denklemlerde (18) değiştirerek elde ederiz

Basitlik açısından, sürecin sıfır anında sıfır terimlerle başladığını da varsayıyoruz, yani:

Buradan P0(T) çözümü elde ederiz

P 0 (T)=e - benT.

Bu çözümü denklem (19)'da yerine koyarsak Ben= 1, denkleme ulaşıyoruz

.

Bu diferansiyel denklemin çözümü açıkça şu şekildedir:

P 1 (T)= bente - benT.

.

Bu tanıdık Poisson dağılımıdır. Böylece sabit yoğunlukta saf yeniden üretim süreci ben Poisson sürecini oluşturan bir dizi doğuma yol açar.

Pratik açıdan en büyük ilgi çekici olan, üreme ve ölüm sürecinin kararlı bir durumdaki durumlarının olasılıklarıdır. Sürecin ergodik bir özelliğe sahip olduğu varsayılırsa, yani. sınırlar var hadi sınırlayıcı olasılıkları belirlemeye geçelim P ben.

Durağan bir rejimin olasılıklarını belirlemeye yönelik denklemler, şu dikkate alınarak doğrudan (18)'den elde edilebilir: dP ben(T)/dt= 0 şurada:

Ortaya çıkan denklem sistemi normalleştirme koşulu dikkate alınarak çözülür

Üreme ve ölüm sürecinin kararlı durumu için denklem sistemi (21), olasılık akışlarının eşitliği ilkesinin sürecin bireysel durumlarına uygulanmasıyla doğrudan Şekil 4'teki geçiş yoğunlukları grafiğinden derlenebilir. Mesela devleti düşünürsek eBen kararlı durumda ise:

olasılık akışının yoğunluğu ve

olasılık akışının yoğunluğu .

Dengede bu iki akışın eşit olması gerekir ve bu nedenle doğrudan şunu elde ederiz:

Ancak bu tam olarak sistemdeki ilk eşitliktir (21). Benzer şekilde sistemin ikinci eşitliğini de elde edebiliriz. Daha önce verilen aynı akış korunumu argümanları, herhangi bir kapalı sınır boyunca olasılıkların akışına uygulanabilir. Örneğin, her bir durumu seçip bunun için bir denklem yazmak yerine, ilki durumu kapsayan bir kontur dizisi seçebilirsiniz. E 0, ikinci durum E 0 Ve E 1 vb. her seferinde bir sonraki durumu yeni sınıra dahil eder. Sonra için Ben kontur (çevresel durum E 0, E 1, ..., E ben -1 ) olasılık akışını sürdürmenin koşulu aşağıdaki basit biçimde yazılabilir:

.

Ortaya çıkan denklem sistemi daha önce türetilene eşdeğerdir. Son denklem sistemini derlemek için komşu durumları bölen dikey bir çizgi çizmeniz ve ortaya çıkan sınır boyunca akışları eşitlemeniz gerekir.

(23) numaralı sistemin çözümü matematiksel tümevarımla bulunabilir.

Şu tarihte: Ben=1 elimizde:

en Ben=2:

en Ben=3:

vesaire.

Elde edilen eşitliklerin şekli, denklem sisteminin (23) genel çözümünün şu şekle sahip olduğunu göstermektedir:

veya tanım gereği boş kümenin çarpımının bire eşit olduğu göz önüne alındığında

Böylece tüm olasılıklar P ben kararlı bir durum için tek bir bilinmeyen sabit ile ifade edilir P 0 . Eşitlik (22), şunları belirlememize olanak tanıyan ek bir koşul verir: P0. Daha sonra her şeyi toplayarak Ben, İçin P0şunu elde ederiz:

Durağan olasılıkların varlığı sorusuna dönelim P ben. Ortaya çıkan ifadelerin olasılıkları belirtmesi için genellikle şu şart getirilir: P 0 > 0. Bu açıkça karşılık gelen denklemlerdeki üreme ve ölüm katsayılarına bir sınırlama getirmektedir. Esasen sistemin ara sıra kendisini boşaltmasını gerektirir; gerçek hayattan örneklere baktığımızda bu istikrar durumu oldukça makul görünüyor. Aşağıdaki iki miktarı tanımlayalım:

Tüm eyaletler E ben Düşünülen üreme ve ölüm sürecinin ancak ve ancak şu durumlarda ergodik olması gerekir: S1 < и S2= . Yalnızca ergodik durum kararlı durum olasılıklarına yol açar P ben, Ben = 0, 1, 2, … ve ilgi çekici olan da bu durumdur. Ergodiklik koşullarının yalnızca bazı durumlardan başlayarak karşılandığına dikkat edin. Ben() dizisinin tüm üyeleri bir ile sınırlıdır, yani. biraz olduğunda ben 0(ve bazıları İLE<1) такое, что для всех ii 0 eşitsizlik geçerlidir:

durumlarını rastgele zamanlarda değiştiren bir sistem sınıfı. Önceki durumda olduğu gibi, bu sistemler ayrık durumları olan bir süreci dikkate alır. . Örneğin, bir nesnenin kullanılabilir durumdan hatalı duruma geçişi, savaş sırasında tarafların güç dengesi vb. Bu tür sistemlerin etkinliğinin değerlendirilmesi, her durumun herhangi bir noktadaki olasılıkları kullanılarak belirlenir. zaman, .

Sistemin herhangi bir andaki durumunun olasılıklarını belirlemek için, sürekli zamanlı Markov süreçlerinin (sürekli Markov süreçleri) matematiksel modellerinin kullanılması gerekir.

Sistemlerin durumunu sürekli Markov süreçleriyle modellerken, geçiş olasılıklarını artık kullanamayız, çünkü bir sistemin tam olarak aynı anda bir durumdan diğerine "atlama" olasılığı sıfırdır (herhangi bir bireysel değerin olasılığı gibi) sürekli bir rastgele değişkenin).

Bu nedenle, bunun yerine geçiş olasılıkları değerlendiriliyor geçiş olasılık yoğunlukları :

o anki durumda olan sistemin zamanla bu duruma geçme olasılığı nerede?

Yukarıdaki formülden ikinci dereceden sonsuz küçüklere kadar doğru olarak şunları temsil edebiliriz:

Sürekli bir Markov süreci denir homojen yoğunluk ise geçiş olasılıkları zamana bağlı değildir (aralığın başladığı andan itibaren). Aksi takdirde sürekli Markov süreci denir. heterojen.

Simülasyonun amacı Ayrık süreçlerde olduğu gibi, sistem durumlarının olasılıklarını belirlemektir. Bu olasılıklar Kolmogorov diferansiyel denklem sisteminin entegre edilmesiyle bulunur.

Sürekli Markov süreçleri şemasına dayalı bir modelleme tekniği formüle edelim.

Örnek 2.2. Etiketli durum grafiği Şekil 2'de sunulan sistemin durumlarının olasılıklarını bulmak için bir Kolmogorov diferansiyel denklem sistemi oluşturun. 2.3.

Pirinç. 2.3.

Çözüm

Açıkça, .

Bu nedenle ilk üç denklemden herhangi biri doğrusal bağımlı olarak hariç tutulabilir.

Kolmogorov denklemlerini çözmek için başlangıç ​​koşullarını ayarlamak gerekir. Ele alınan örnek 2.2 için aşağıdaki başlangıç ​​koşullarını ayarlayabilirsiniz: , .

Sürekli zamanlı homojen bir Markov süreci, belirli bir olay akışının etkisi altında durum değiştirme süreci olarak yorumlanabilir. Yani yoğunluk geçiş olasılıkları sistemi . durumdan . duruma taşıyan olayların akışının yoğunluğu olarak yorumlanabilir. Bu tür olay akışları, ekipman arızaları, telefon santraline çağrılar, doğum vb.'dir.

Karmaşık nesneleri incelerken her zaman şu soru sorulur: incelenen sistemde kararlı durum (sabit) mod mümkün mü? Yani sistem nasıl davranıyor? Sınırlar var mı? ? Kural olarak araştırmacının ilgisini çeken bu sınırlayıcı değerlerdir.

Bu sorunun cevabı Markov teoremi ile verilmektedir.

Sonlu veya sayılabilir sayıda duruma sahip homojen bir ayrık Markov süreci için hepsi , o zaman sınır değerler mevcuttur ve bunların değerleri sistemin seçilen başlangıç ​​​​durumuna bağlı değildir.

Sürekli Markov süreçleriyle ilgili olarak Markov teoremi şu şekilde yorumlanır: eğer süreç homojense ve her durumdan sonlu bir zamanda başka herhangi bir duruma geçiş mümkünse ve durum sayısı sayılabilir veya sonluysa, o zaman sınır değerler mevcuttur ve değerleri seçilen başlangıç ​​durumuna bağlı değildir.

Modelin bir özelliği, tüm ortalama durumlar için her komşu durumla doğrudan ve geri beslemeli bağlantıların varlığıdır; ilk ve son (ekstrem) durumlar yalnızca bir “komşu” ile ilişkilidir (sırasıyla sonraki ve önceki durumlarla).

Modelin adı - "ölüm ve üreme" - sağdaki okların, durum sayısındaki ("doğum") bir artışla ve soldaki okların - bir azalmayla ilişkili durumlara geçiş anlamına geldiği fikriyle ilişkilidir. eyalet sayısında ("ölüm").

Açıkçası, bu süreçte durağan bir durum mevcuttur. Kolmogorov denklemlerini oluşturmaya gerek yoktur, yapı düzenli olduğundan gerekli formüller referans kitaplarında ve önerilen literatürde verilmiştir.

Pirinç. 2.6.

Arıza akış hızları;

İyileşme akışlarının yoğunlukları.

Her bilgisayarın ortalama çalışma süresi ve bir bilgisayarın ortalama kurtarma süresi olsun .

Daha sonra başarısızlık oranı bir bilgisayar eşit olacak ve bir bilgisayarın kurtarma oranı .

Her iki bilgisayar da çalışıyor, bu nedenle:

Bir bilgisayar çalışıyor, bu şu anlama geliyor:

Bir bilgisayar geri yüklenirse:

Her iki bilgisayar da aşağıdaki duruma geri yüklenir:

Bağımlılıkları kullanıyoruz (2.2). Her iki makinenin de çalıştığı bir durumun olasılığı:

İkinci durumun olasılığı (bir bilgisayar çalışıyor):

ve benzer şekilde hesaplanır. Gerçi bunu şu şekilde de bulabilirsiniz:

Örnek 2.4. Düşman vericileri birleşme bandında çalışıyor. Bir ordu karşı istihbarat operatörleri birimi radyo emisyonlarına göre vericileri arıyor. Bir düşman vericisi bulan her operatör, onun frekansını izler, ancak yeni bir aramaya girişmez. Takip işlemi sırasında frekans kaybolabilir ve sonrasında operatör tekrar arama yapabilir.

Operatör bölümü hizmetinin verimliliğini belirlemek için bir matematiksel model geliştirin. Verimlilik, belirli bir süre boyunca tespit edilen vericilerin ortalama sayısını ifade eder.

Çözüm

Operatörlerimizin ve düşman telsiz operatörlerimizin yüksek vasıflı ve iyi eğitimli olduğunu varsayacağız. Dolayısıyla düşman verici frekanslarının tespit oranlarının ve takip kayıplarının sabit olduğunu varsayabiliriz. Frekans tespiti ve frekans kaybı yalnızca o anda kaç vericinin yön bulmada olduğuna bağlıdır ve bu yön bulmanın ne zaman gerçekleştiğine bağlı değildir. Bu nedenle frekans tespiti ve kayıp takibi süreci sürekli homojen bir Markov süreci olarak düşünülebilir.

Bu yön bulma sisteminin incelenen özelliği, operatörlerin iş yüküdür ve bu, açıkça tespit edilen frekans sayısıyla örtüşmektedir.

Aşağıdaki gösterimi tanıtalım:

Operatör sayısı;

Düşman vericilerinin sayısının;

Gözetim yapan ortalama operatör sayısı;

Yön bulma vericilerinin ortalama sayısı;

Düşman vericisinin tek operatör tarafından yön bulma yoğunluğu;

Operatörün kayıp akışını takip yoğunluğu;

Yön bulma vericilerinin mevcut sayısı .

Yön bulma sisteminde aşağıdaki durumlar mümkündür:

Yön bulma vericisi yok, arama operatörler tarafından yapılıyor, durumun olasılığı;

Önceki paragrafta, sistemin etiketli durum grafiğini bilerek, durumların sınırlayıcı olasılıkları için cebirsel denklemleri hemen yazabileceğimize ikna olmuştuk. Dolayısıyla, eğer iki sürekli Markov zinciri aynı durum grafiklerine sahipse ve yalnızca yoğunluk değerlerinde farklılık gösteriyorsa, o zaman her bir grafik için durumların sınırlayıcı olasılıklarını ayrı ayrı bulmaya gerek yoktur: bir tanesi için gerçek formdaki denklemleri oluşturmak ve çözmek yeterlidir. ve ardından karşılık gelen değerleri değiştirin.

Birçok yaygın grafik formu için doğrusal denklemler, gerçek formda kolayca çözülebilir.

Bu bölümde, sürekli Markov zincirlerinin çok tipik bir şeması olan “ölüm ve üreme şeması” olarak adlandırılan şema ile tanışacağız.

Sürekli bir Markov zincirinin durum grafiği Şekil 2'de gösterilen forma sahipse "ölüm ve üreme süreci" olarak adlandırılır. 4.38, yani tüm durumlar, orta durumların her birinin komşu durumların her birine doğrudan ve geri bildirim yoluyla bağlandığı ve uç durumların yalnızca bir komşu durumla bağlandığı tek bir zincire çekilebilir.

Örnek 1. Bir teknik cihaz üç özdeş üniteden oluşur; her biri başarısız olabilir (başarısız olabilir); Başarısız olan düğüm hemen iyileşmeye başlar. Sistem durumlarını hatalı düğüm sayısına göre numaralandırıyoruz:

Üç düğümün tümü çalışıyor;

Bir düğüm arızalandı (geri yükleniyor), ikisi çalışır durumda;

İki düğüm geri yükleniyor, biri çalışır durumda;

Tüm düğümler geri yüklendi.

Durum grafiği Şekil 2'de gösterilmektedir. 4.39. Grafik, sistemde meydana gelen sürecin bir “ölüm ve üreme” süreci olduğunu göstermektedir.

Ölüm ve üreme düzenine sıklıkla çok çeşitli pratik problemlerde rastlanır; Bu nedenle, bu şemayı genel olarak önceden düşünmek ve karşılık gelen cebirsel denklem sistemini çözmek mantıklıdır, böylece gelecekte böyle bir şemaya göre meydana gelen belirli süreçlerle karşılaşıldığında, kişi sorunu her seferinde yeniden çözmez, ancak kullanır. hazır bir çözüm.

Öyleyse, Şekil 2'de gösterilen durum grafiğiyle rastgele bir ölüm ve üreme sürecini ele alalım. 4.40

Durumların olasılıkları için cebirsel denklemler yazalım. İlk durum için elimizde:

İkinci durum için gelen ve giden oklara karşılık gelen terimlerin toplamı şuna eşittir:

Ancak (8.1)'in yardımıyla sağda ve solda birbirine eşit olan terimleri iptal edebiliriz, şunu elde ederiz:

Kısacası ölüm ve üreme şeması için üst üste duran oklara karşılık gelen terimler birbirine eşittir:

burada k, 2'den .'ye kadar tüm değerleri alır.

Dolayısıyla herhangi bir ölüm ve üreme şemasındaki durumların sınırlayıcı olasılıkları aşağıdaki denklemleri karşılar:

ve normalizasyon koşulu:

Bu sistemi şu şekilde çözeceğiz: İlk denklemden (7.3) ifade ettiğimiz

(8.5)'i hesaba katarak ikinciden şunu elde ederiz:

(8.6) dikkate alınarak üçüncüden:

Bu formül 2'den .'ye kadar herhangi bir k için geçerlidir.

Yapısına dikkat edelim. Pay, başlangıçtan paydadaki duruma gidene kadar soldan sağa yönlendirilen okların üzerinde duran tüm geçiş olasılığı yoğunluklarının (yoğunluklarının) çarpımını içerir - giden okların yanında duran tüm yoğunlukların çarpımı sağdan sola, yine başlangıçtan yukarıya, At durumundan çıkan oka kadar, pay, soldan sağa giden tüm okların yoğunluklarının çarpımını içerecek ve payda, giden tüm okların çarpımı olacaktır. sağdan sola.

Yani tüm olasılıklar bunlardan biriyle ifade edilir: Bu ifadeleri normalizasyon koşulunda yerine koyalım: Şunu elde ederiz:

Kalan olasılıklar şu şekilde ifade edilir:

Böylece “ölüm ve üreme” sorunu genel bir biçimde çözülmüş oldu: Durumların sınırlayıcı olasılıkları bulundu.

Örnek 2. Grafiği Şekil 2'de gösterilen ölüm ve üreme süreci için durumların sınırlayıcı olasılıklarını bulun. 4.41.

Çözüm (8.8) ve (8.9) formüllerine göre:

Örnek 3. Cihaz üç üniteden oluşmaktadır; arıza akışı en basit olanıdır, her düğümün ortalama hatasız çalışma süresi eşittir. Arızalı düğüm hemen onarılmaya başlanır; bir düğümün ortalama onarım (restorasyon) süresi p'ye eşittir; bu zamanın dağıtım yasası gösterge niteliğindedir (restorasyon akışı en basitidir). Üç çalışma düğümüyle %100'e eşitse, iki - %50'ye eşitse ve bir veya daha azıyla - cihaz hiç çalışmıyorsa cihazın ortalama üretkenliğini bulun.

Çözüm. Sistem durumlarının listesi ve durum grafiği bu paragrafın 1. örneğinde zaten verilmiştir. Bu grafiği işaretleyelim, yani her oka karşılık gelen yoğunluğu koyalım (bkz. Şekil 4.42).