مفاهیم اساسی فرآیندهای مارکوف. فرآیند مارکوف زمان گسسته

زیر فرآیند تصادفیتغییر در زمان حالات برخی از سیستم های فیزیکی را به شیوه ای تصادفی ناشناخته قبلی درک کنید. که در آن منظور ما از یک سیستم فیزیکی استهر وسیله فنی، گروهی از دستگاه ها، شرکت، صنعت، سیستم بیولوژیکی و غیره.

فرآیند تصادفیجریان در سیستم نامیده می شود مارکوفسکی - اگر برای هر لحظه از زمان، ویژگی های احتمالی فرآیند در آینده (t > ) فقط به حالت آن در یک زمان معین بستگی دارد ( حاضر ) و به زمان و نحوه رسیدن سیستم به این حالت بستگی ندارد در گذشته .(مثلاً شمارنده گایگر که تعداد ذرات کیهانی را ثبت می کند).

فرآیندهای مارکوف معمولاً به 3 نوع تقسیم می شوند:

1. زنجیر مارکوف - فرآیندی که حالت‌های آن گسسته است (یعنی می‌توان آن‌ها را مجددا شماره‌گذاری کرد)، و زمانی که در آن در نظر گرفته می‌شود نیز گسسته است (یعنی فرآیند می‌تواند حالت‌های خود را فقط در مقاطع خاصی از زمان تغییر دهد). چنین فرآیندی در مراحل (به عبارت دیگر، در چرخه) پیش می رود (تغییر می کند).

2. فرآیند مارکوف گسسته - مجموعه حالت ها گسسته است (می توان لیست کرد) و زمان پیوسته است (انتقال از یک حالت به حالت دیگر - در هر زمان).

3. فرآیند مارکوف مداوم - مجموعه حالات و زمان پیوسته هستند.

در عمل، فرآیندهای مارکوف در شکل خالص خود اغلب با آن مواجه نمی شوند. با این حال، اغلب لازم است با فرآیندهایی که برای آنها تأثیر ماقبل تاریخ نادیده گرفته می شود، مقابله کرد. علاوه بر این، اگر تمام پارامترهای "گذشته" که "آینده" به آن بستگی دارد در وضعیت سیستم در "حال" گنجانده شود، آنگاه می توان آن را مارکوی نیز در نظر گرفت. با این حال، این اغلب منجر به افزایش قابل توجهی در تعداد متغیرهای در نظر گرفته شده و ناتوانی در دستیابی به راه حلی برای مشکل می شود.

در تحقیق در عملیات، به اصطلاح فرآیندهای تصادفی مارکوف با حالت های گسسته و زمان پیوسته.

فرآیند نامیده می شود پردازش با حالت های گسسته، اگر تمام حالت های ممکن آن، ,... را می توان از قبل لیست کرد (تجدید شماره) کرد. سیستم تقریباً بلافاصله - در یک پرش از حالتی به حالت دیگر تغییر می کند.

فرآیند نامیده می شود فرآیند زمانی پیوسته، اگر لحظه های انتقال از حالت به حالت بتواند هر مقدار تصادفی را در محور زمان به خود بگیرد.

مثلا : دستگاه فنی S از دو گره تشکیل شده است که هر کدام می توانند در یک زمان تصادفی شکست بخورند ( رد کردن). پس از این، تعمیر واحد بلافاصله شروع می شود ( بهبود) که برای یک زمان تصادفی ادامه می یابد.

حالت های سیستم زیر امکان پذیر است:

هر دو گره در حال کار هستند.

واحد اول در حال تعمیر است، واحد دوم در حال کار است.

– واحد دوم در حال تعمیر است، واحد اول در حال کار است

هر دو واحد در حال تعمیر هستند.

انتقال یک سیستم از حالتی به حالت دیگر در لحظات تصادفی در زمان و تقریباً بلافاصله اتفاق می افتد. حالات سیستم و ارتباط بین آنها را می توان به راحتی با استفاده از آن نمایش داد نمودار حالت .

ایالت ها

انتقال ها

هیچ انتقالی وجود ندارد زیرا خرابی ها و ترمیم عناصر به طور مستقل و تصادفی رخ می دهد و احتمال خرابی (بازیابی) همزمان دو عنصر بی نهایت کوچک است و می توان از آن چشم پوشی کرد.

اگر تمام رویدادها جریان داشته باشند و سیستم را منتقل کنند اساز ایالت به ایالت - تک یاخته ها، آن روند،در چنین سیستمی جریان دارد مارکوفسکی خواهد بود. این به دلیل این واقعیت است که ساده ترین جریان یک افترافکت ندارد، یعنی. در آن، "آینده" به "گذشته" بستگی ندارد و علاوه بر این، دارای خاصیت عادی بودن است - احتمال وقوع همزمان دو یا چند رویداد بی نهایت کم است، یعنی انتقال از حالت به حالت حالت بدون عبور از چندین حالت میانی غیرممکن است.

برای وضوح، در نمودار حالت راحت است که در هر پیکان انتقال، شدت جریان رویدادهایی که سیستم را از حالتی به حالت دیگر در امتداد یک فلش معین منتقل می‌کند، نشان دهیم (-شدت جریان رویدادهایی که سیستم را از حالت منتقل می‌کند. V. چنین نموداری نامیده می شود مشخص شده است.

با استفاده از یک نمودار وضعیت سیستم برچسب دار، می توانید یک مدل ریاضی از این فرآیند بسازید.

اجازه دهید انتقال سیستم از یک حالت خاص به حالت قبلی یا بعدی را در نظر بگیریم. قطعه ای از نمودار حالت در این مورد به شکل زیر خواهد بود:

اجازه دهید سیستم در لحظه از زمان تیدر شرایط است.

بیایید (t) را نشان دهیم - احتمال وضعیت i-ام سیستم- احتمال اینکه سیستم در لحظه زمان تیدر شرایط است. برای هر زمان t، =1 درست است.

اجازه دهید احتمال آن را در لحظه زمان تعیین کنیم t+∆t سیستم در خواهد بود. این ممکن است در موارد زیر باشد:

1) و در طول زمان ∆ t آن را ترک نکرد. به این معنی که در طول زمان ∆t بوجود نیامدرویدادی که سیستم را به یک حالت (جریان با شدت) یا رویدادی که آن را به حالتی (جریان با شدت) منتقل می‌کند. اجازه دهید احتمال این را برای Δt کوچک تعیین کنیم.

با یک قانون نمایی توزیع زمان بین دو تقاضای همسایه، مطابق با ساده ترین جریان رویدادها، این احتمال وجود دارد که در طول بازه زمانی ∆t یک نیاز واحد در جریان با شدت ایجاد نشود. λ 1برابر خواهد بود

با بسط تابع f(t) به یک سری تیلور (t>0) به دست می آوریم (برای t=∆t)

f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=

= +(-l) *∆t+ (∆ + *(∆ +..." 1-l*∆t در ∆t®0

به طور مشابه، برای یک جریان با شدت λ 2 به دست می آوریم .

احتمال اینکه در بازه زمانی ∆t (در ∆t®0) هیچ الزامی وجود نخواهد داشت برابر خواهد بود

(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =

1 - - *∆t + 1 - ( + )*∆t + b.m.

بنابراین، احتمال اینکه سیستم در طول زمان ∆t از حالت خارج نشده باشد برابر خواهد بود

پ( / )=1 – ( + )* ∆t

2) سیستم در حالتی بود S i -1 و برای زمان به حالت S i منتقل شد . یعنی حداقل یک رویداد در جریان با شدت رخ داده است. احتمال این برای ساده ترین جریان با شدت برابر است λ اراده

برای مورد ما، احتمال چنین انتقالی برابر خواهد بود

3)سیستم در حالتی بود و در طول زمان ∆t به حالت انتقال یافت . احتمال این خواهد بود

سپس احتمال اینکه سیستم در زمان (t+∆t) در حالت S i قرار گیرد برابر است

اجازه دهید P i (t) را از دو طرف کم کنیم، بر ∆t تقسیم کنیم و با عبور از حد، در ∆t→0، به دست می‌آییم.

با جایگزینی مقادیر متناظر شدت انتقال از حالت ها به حالت ها، سیستمی از معادلات دیفرانسیل را به دست می آوریم که تغییر در احتمالات حالت های سیستم را به عنوان تابعی از زمان توصیف می کند.

این معادلات را معادلات می نامند کولموگروف-چپمن برای یک فرآیند مارکوف گسسته

با مشخص کردن شرایط اولیه (به عنوان مثال P 0 (t=0)=1, P i (t=0)=0 i≠0) و حل آنها، عباراتی را برای احتمالات وضعیت سیستم به عنوان تابع به دست می آوریم. از زمان اگر تعداد معادلات ≤ 2.3 باشد، راه حل های تحلیلی کاملاً آسان است. اگر تعداد آنها بیشتر باشد، معمولاً معادلات به صورت عددی در رایانه حل می شوند (مثلاً با روش Runge-Kutta).

در تئوری فرآیندهای تصادفی ثابت شده است ، چی اگر شماره n حالات سیستم قطعا و از هر یک از آنها می توانید (در تعداد محدودی از مراحل) به هر دیگری بروید، سپس یک محدودیت وجود دارد ، که احتمالات زمانی که به آن تمایل دارند t→ . چنین احتمالاتی نامیده می شود احتمالات نهایی حالات، و حالت پایدار است حالت ثابت عملکرد سیستم

از آنجایی که در حالت ثابت همه چیز بنابراین، همه چیز = 0. با معادل سازی سمت چپ سیستم معادلات با 0 و تکمیل آنها با معادله =1، سیستمی از معادلات جبری خطی را به دست می آوریم که با حل آن مقادیر احتمالات نهایی را پیدا می کنیم.

مثال. اجازه دهید نرخ خرابی و نرخ بازیابی عناصر در سیستم ما به شرح زیر باشد:

شکست ها 1el:

2el:

تعمیر 1el:

2el:

P 0 + P 1 + P 2 + P 3 = 1

0=-(1+2)P 0 +2P 1 +3 P 2

0=-(2+2)P 1 +1P 0 +3P 3

0=-(1+3)P 2 +2P 0 +2P 3

0=-(2+3)P 3 +2P 1 +1P 2

پس از حل این سیستم، دریافت می کنیم

P 0 =6/15=0.4; P 1 = 3/15 = 0.2; P 2 = 4/15 = 0.27; P 3 = 2/15≈0.13.

آن ها در حالت ساکن سیستم به طور متوسط

40٪ در حالت S 0 است (هر دو گره عملیاتی هستند)،

20% - در وضعیت S 1 (واحد 1 در حال تعمیر است ، 2 مورد بهره برداری است)

27% - در وضعیت S 2 (واحد برق دوم در حال تعمیر، واحد 1 در حال کار)

13% - در وضعیت S 3 - هر دو واحد در حال تعمیر هستند.

دانستن احتمالات نهایی اجازه می دهد میانگین کارایی سیستم و حجم کاری سرویس تعمیر را ارزیابی کنید.

اجازه دهید سیستم در حالت S 0 درآمدی معادل 8 واحد معمولی ایجاد کند. در واحد زمان؛ در ایالت S 1 - درآمد 3 واحد متعارف؛ در ایالت S 2 - درآمد 5؛ در ایالت S 3 - درآمد = 0

قیمت تعمیرات در واحد زمان برای عنصر 1- 1 (S 1, S 3) واحدهای معمولی، عنصر 2- (S 2, S 3) 2 واحد معمولی. سپس در حالت ثابت:

درآمد سیستمدر واحد زمان خواهد بود:

W ext =8P 0 +3P 1 +5P 2 +0P 3 =8·0.4+3·0.2+5·0.27+0·0.13=5.15 واحدهای معمولی.

هزینه تعمیردر واحدها زمان:

W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0·0.4+1·0.2+2·0.27+3·0.13=1.39 واحدهای معمولی.

سوددر واحد زمان

W= W بازدم -W تعمیر =5.15-1.39= 3.76 واحد معمولی

با صرف هزینه های خاص می توانید شدت λ و μ و بر این اساس راندمان سیستم را تغییر دهید. امکان سنجی چنین هزینه هایی را می توان با محاسبه مجدد P i ارزیابی کرد. و شاخص های عملکرد سیستم

اجازه دهید حالات احتمالی مارکوین را در نظر بگیریم

فرآیندها

0 ایالت های قابل دسترسی: حالت / منجر به حالت می شود j(با علامت /->/) در صورت وجود مسیر i 0 =i، i=jبه طوری که تمام احتمالات انتقال i، - d j > 0، به = 0,..., n-1.

برنج. 12.13.

در شکل شکل 12.13 مسیر یک حالت به حالت دیگر را نشان می دهد. می گویند که شرط jقابل دسترسی از حالت /.

در باره کشورهای در حال ارتباط: حالات /" و jبرقراری ارتباط (مشخص شده با //) if i~>jو y-»/- حالت های ارتباطی را می توان در یک کلاس هم ارزی گروه بندی کرد. در یک کلاس، همه حالت ها ارتباط برقرار می کنند. دو حالت از طبقات مختلف با یکدیگر ارتباط برقرار نمی کنند. چنین کلاس هایی نامیده می شوند غیر قابل کاهشیک زنجیره مارکوف با حالت هایی که یک کلاس تقلیل ناپذیر را تشکیل می دهند نامیده می شود غیر قابل کاهش

برنج. 12.14.

همه حالات یک زنجیره مارکوف ارگودیک با هم ارتباط برقرار می کنند و مجموعه ای ارگودیک از حالات را تشکیل می دهند. زنجیره مارکوف نامیده می شود ارگودیک، اگر همه حالت ها ارگودیک باشند (شکل 12.14).

در باره حالت های غیر قابل بازیابی: حالت بهدر صورت وجود چنین حالتی غیر قابل برگشت نامیده می شود j (k f j)و چنین تعدادی از مراحل پ،که d.,(«)> 0, 71., (T)= برای همه t>p.زمان هایی وجود دارد که زنجیر

شامل چندین مجموعه ارگودیک است که با یکدیگر ارتباط برقرار نمی کنند (گراف چند جزیی). یک بار در یک مجموعه ارگودیک، یک فرآیند هرگز نمی تواند آن را ترک کند. این مجموعه نسبت به مجموعه اصلی غیر قابل برگشت است و حالات موجود در آن را غیر قابل برگشت می گویند.

در باره حالت جذب کننده: حالت / نامیده شد جذب کنندهسپس و تنها زمانی که من و (ص)= 1 برای هر پ.مجموعه ای از حالات نامیده می شود بسته،اگر هیچ یک از آنها منجر به حالتی نشود که در این مجموعه وجود ندارد. اگر یک مجموعه ارگودیک از یک حالت تشکیل شده باشد، پس این حالت جذب کننده است، به طوری که وقتی وارد آن شدید، دیگر نمی توانید آن را ترک کنید. اگر در بین تمام حالت های یک زنجیره مارکوف حداقل یک جاذب وجود داشته باشد، چنین زنجیره ای نامیده می شود جذب کننده

هر حالت می تواند گذرا یا به طور مکرر تکرار شود.

در باره وضعیت عبور: یک حالت /" در صورتی که احتمال غیر صفر وجود داشته باشد که سیستم هرگز به آن بازنگردد، عبور می کند. زیر مجموعه ای از حالت ها نامیده می شود. متعدی(گذر) در صورتی که امکان ورود و خروج از این زیر مجموعه وجود دارد. حالت های گذرا فقط می توانند تعداد محدودی بار بازدید شوند.

در باره حالت عود کننده: یک حالت تکراری خواهد بود اگر احتمال بازگشت 1 باشد. حالت های بازگشتی را می توان بسته به زمان اولین بازگشت به این حالت طبقه بندی کرد: اگر این زمان کمتر از بی نهایت باشد، حالات نامیده می شوند. مثبت عود کننده; اگر زمان بی نهایت است، پس صفر بازگشتیحالت های مکرر می تواند باشد تناوبیو غیر دوره ایحالت های غیر دوره ای مثبت عود کننده را ارگودیک می نامند.

بسته به نوع حالت های زنجیره مارکوف، ماتریس احتمالات انتقال را می توان با مرتب کردن مجدد ردیف ها و ستون ها به یک شکل یا شکل دیگر نشان داد. اگر ماتریس احتمالات انتقال را می توان به صورت بلوک نشان داد

سپس فرآیندی که یک حالت خاص متعلق به مجموعه حالت‌های S را ترک می‌کند، هرگز نمی‌تواند در هر چند مرحله در یک حالت متعلق به مجموعه Q به پایان برسد و بالعکس. ماتریس P نامیده می شود تجزیه پذیر،و این دو مجموعه ای از حالت ها را در نظر گرفتند بستهاین بیانیه بدیهی است، زیرا

سپس برای همه توان های زوج، ماتریس بلوک-مورب خواهد بود و برای توان های فرد شکل اصلی خود را خواهد داشت. مثلا:

فرآیند به طور متناوب از حالت های متعلق به T به حالت های متعلق به R و به عقب حرکت می کند. چنین فرآیندی خواهد بود تناوبی.

اگر ماتریس احتمال انتقال دارای شکل باشد

در این صورت احتمال اینکه فرآیند در یکی از حالت های متعلق به Q باشد با تعداد مراحل افزایش نمی یابد. انتقال از هر حالت متعلق به Q به یکی از حالت های متعلق به S در صورتی امکان پذیر است که R φ 0، اما انتقال معکوس نمی تواند رخ دهد. در نتیجه، حالات مربوط به Q غیر برگشتی هستند و S در حال جذب هستند.

ماتریس احتمالات انتقال زنجیره جذب به شکل متعارف زیر نوشته شده است:

زیرماتریس 0 فقط از صفرها تشکیل شده است، زیرماتریس I یک ماتریس واحد از حالات جذب است، زیرماتریس Q رفتار فرآیند را قبل از خروج از مجموعه حالت های غیرقابل بازگشت توصیف می کند، زیرماتریس R مربوط به انتقال از حالت های غیرقابل بازگشت به حالت های جذب کننده است.

سخنرانی 9

فرآیندهای مارکوف
سخنرانی 9
فرآیندهای مارکوف



1

فرآیندهای مارکوف

فرآیندهای مارکوف
فرآیند تصادفی که در یک سیستم اتفاق می افتد نامیده می شود
مارکویان اگر عواقبی نداشته باشد. آن ها
اگر وضعیت فعلی فرآیند را در نظر بگیریم (t 0) - به عنوان
حال، مجموعه ای از حالت های ممکن ((s)،s t) - as
گذشته، مجموعه ای از حالات ممکن ((u),u t) - as
آینده، سپس برای یک فرآیند مارکوف برای یک ثابت
حال، آینده به گذشته بستگی ندارد، بلکه تعیین می شود
فقط در حال حاضر و به زمان و چگونگی سیستم بستگی ندارد
به این حالت رسید
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
2

فرآیندهای مارکوف

فرآیندهای مارکوف
فرآیندهای تصادفی مارکوف به نام ریاضیدان برجسته روسی A.A. Markov نامگذاری شده اند که برای اولین بار مطالعه ارتباط احتمالی متغیرهای تصادفی را آغاز کرد.
و نظریه ای را ایجاد کرد که می توان آن را «دینامیک» نامید
احتمالات.» متعاقباً مبانی این نظریه بود
پایه اولیه نظریه عمومی فرآیندهای تصادفی و همچنین علوم کاربردی مهمی مانند نظریه فرآیندهای انتشار، نظریه قابلیت اطمینان، نظریه صف و غیره.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
3

مارکوف آندری آندریویچ مارکوف آندری آندریویچ مارکوف آندری آندریویچ

فرآیندهای مارکوف
مارکوف آندری آندریویچ
1856-1922
ریاضیدان روسی.
حدود 70 اثر نوشت
نظریه ها
شماره،
نظریه ها
تقریب تابع، نظریه
احتمالات به طور قابل توجهی دامنه قانون را گسترش داد
تعداد زیاد و مرکزی
قضیه حدی است
بنیانگذار نظریه فرآیندهای تصادفی
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
4

فرآیندهای مارکوف

فرآیندهای مارکوف
در عمل، فرآیندهای مارکوف در شکل خالص خود معمولاً هستند
ملاقات نمی کنند. اما فرآیندهایی وجود دارد که برای آنها می توان از تأثیر "پیش از تاریخ" و هنگام مطالعه غافل شد
برای چنین فرآیندهایی می توان از مدل های مارکوف استفاده کرد. که در
در حال حاضر تئوری فرآیندهای مارکوف و کاربردهای آن به طور گسترده در زمینه های مختلف مورد استفاده قرار می گیرد.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
5

فرآیندهای مارکوف

فرآیندهای مارکوف
زیست شناسی: فرآیندهای تولد و مرگ - جمعیت ها، جهش ها،
اپیدمی ها
فیزیک:
رادیواکتیو
پوسیدگی می کند،
تئوری
شمارنده ها
ذرات بنیادی، فرآیندهای انتشار
علم شیمی:
تئوری
آثار
V
اتمی
امولسیون عکس،
مدل های احتمالی سینتیک شیمیایی
Images.jpg
ستاره شناسی: نظریه نوسانات
روشنایی کهکشان راه شیری
تئوری صف: مبادلات تلفنی،
تعمیرگاه ها، دفاتر فروش بلیط، میز اطلاعات،
ماشین و سایر سیستم های فن آوری، سیستم های کنترل
سیستم های تولید انعطاف پذیر، پردازش اطلاعات توسط سرورها.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
6

فرآیندهای مارکوف

فرآیندهای مارکوف
اجازه دهید در لحظه فعلی t0 سیستم وارد شود
حالت معین S0. ما ویژگی ها را می دانیم
وضعیت سیستم در حال حاضر و هر آنچه در t< t0
(پس زمینه فرآیند). آیا می توانیم آینده را پیش بینی کنیم،
آن ها در t > t0 چه اتفاقی می افتد؟
نه دقیقا، اما برخی از ویژگی های احتمالی
روند را می توان در آینده پیدا کرد. به عنوان مثال، احتمال اینکه
که بعد از مدتی
سیستم S در وضعیت خواهد بود
S1 یا در حالت S0 باقی می ماند و غیره.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
7

فرآیندهای مارکوف مثال.

فرآیندهای مارکوف
فرآیندهای مارکوف مثال.
سیستم اس گروهی از هواپیماهای شرکت کننده در نبرد هوایی است. x کمیت باشد
هواپیماهای "قرمز"، y - تعداد هواپیماهای "آبی". در زمان t0، تعداد هواپیماهای زنده مانده (سرنگون نشده).
به ترتیب - x0، y0.
ما علاقه مند به این احتمال هستیم که در لحظه از زمان
t 0 برتری عددی در سمت "قرمزها" خواهد بود. این احتمال بستگی به وضعیتی دارد که سیستم در آن قرار داشته است
در لحظه t0، و نه در زمان و در چه ترتیبی هواپیماها قبل از لحظه مرگ t0 سرنگون شدند.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
8

زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
فرآیند مارکوف با عدد محدود یا قابل شمارش
حالات و لحظات زمان گسسته نامیده می شود
زنجیر مارکوف انتقال از حالت به حالت فقط در لحظات صحیح زمان ممکن است.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
9

10. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف

فرض کنید
چی
سخن، گفتار
آینده
O
پرتاب های پی در پی سکه
بازی پرتاب; یک سکه در آن انداخته می شود
لحظه های شرطی زمان t = 0، 1، ... و در
هر مرحله بازیکن می تواند ± 1 ثانیه برنده شود
همان
احتمال
1/2,
مثل این
بنابراین، در لحظه t، بهره کل آن یک متغیر تصادفی ξ(t) با مقادیر ممکن j = 0، ± 1، ... است.
به شرطی که ξ(t) = k، در مرحله بعد بازده خواهد بود
در حال حاضر برابر با ξ(t+1) = k ± 1 است، با گرفتن مقادیر j = k ± 1 با همان احتمال 1/2. می توان گفت که در اینجا با احتمال مربوطه، انتقالی از حالت ξ(t) = k به حالت ξ(t+1) = k ± 1 رخ می دهد.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
10

11. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
با تعمیم این مثال، می توانیم سیستمی را با آن تصور کنیم
تعداد قابل شمارش حالت های ممکن، که در طول زمان
زمان گسسته t = 0, 1, ... به طور تصادفی از حالتی به حالت دیگر حرکت می کند.
فرض کنید ξ(t) موقعیت آن در زمان t در نتیجه زنجیره ای از انتقال های تصادفی باشد
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
11

12. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
هنگام تجزیه و تحلیل فرآیندهای تصادفی با حالت های گسسته، استفاده از یک طرح هندسی - یک نمودار راحت است.
ایالت ها. رئوس نمودار حالت های سیستم هستند. کمان های نمودار
- امکان انتقال از حالتی به حالت دیگر.
یک بازی پرتاب.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
12

13. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
اجازه دهید همه حالت های ممکن را با اعداد صحیح i = 0، ± 1، ... نشان دهیم.
فرض کنید برای یک حالت معلوم ξ(t) =i، در مرحله بعد سیستم به حالت ξ(t+1) = j با احتمال شرطی می رود.
P( (t 1) j (t) i)
صرف نظر از رفتار او در گذشته، یا بهتر است بگوییم، بدون توجه به
از زنجیره انتقال به لحظه t:
P( (t 1) j (t) i؛ (t 1) it 1;...؛ (0) i0)
P( (t 1) j (t) i)
این ویژگی مارکوین نام دارد.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
13

14. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
عدد
pij P( (t 1) j (t) i)
احتمال نامیده می شود
انتقال سیستم از حالت i به حالت j در یک مرحله به داخل
زمان t 1.
اگر احتمال انتقال به t بستگی نداشته باشد، مدار
مارکوف را همگن می نامند.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
14

15. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
ماتریس P که عناصر آن احتمالات هستند
انتقال pij ماتریس انتقال نامیده می شود:
p11...p1n
P p 21 ... p 2n
پ
n1 ... pnn
تصادفی است، یعنی.
پیج 1 ;
من
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
p ij 0 .
15

16. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
ماتریس انتقال برای بازی پرتاب
...
k 2
k 2
0
k 1
1/ 2
ک
0
k 1
ک
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16

17. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
در نتیجه تجزیه و تحلیل شیمیایی خاک، باغبان ارزیابی می کند
شرایط آن یکی از سه عدد است - خوب (1)، رضایت بخش (2) یا بد (3). در نتیجه مشاهدات چندین ساله، باغبان متوجه شد
که بهره وری خاک در حال حاضر
سال فقط به وضعیت آن بستگی دارد
پارسال. بنابراین احتمالات
انتقال خاک از یک حالت به
دیگری را می توان به صورت زیر نشان داد
زنجیره مارکوف با ماتریس P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
17

18. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
با این حال، در نتیجه اقدامات کشاورزی، باغبان می تواند احتمالات انتقال را در ماتریس P1 تغییر دهد.
سپس ماتریس P1 جایگزین خواهد شد
به ماتریس P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
18

19. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
بیایید در نظر بگیریم که چگونه حالت های فرآیند در طول زمان تغییر می کنند. ما فرآیند را در لحظات متوالی در زمان در نظر می گیریم، از لحظه 0 شروع می کنیم. اجازه دهید توزیع احتمال اولیه p(0) را تنظیم کنیم (p1 (0)،...، pm (0))، که m تعداد حالت ها است. از فرآیند، پی (0) احتمال یافتن است
پردازش در حالت i در لحظه اولیه زمان. احتمال pi(n) احتمال نامشروط حالت نامیده می شود
من در زمان n 1.
مولفه های بردار p (n) نشان می دهد که کدام یک از حالت های ممکن مدار در زمان n بیشتر است.
محتمل
متر
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
pk(n) 1
k 1
19

20. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
دانستن دنباله (p (n)) برای n 1،... به شما امکان می دهد تا ایده ای از رفتار سیستم در طول زمان به دست آورید.
در یک سیستم 3 حالته
p11 p12 p13
P p21
پ
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
به طور کلی:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
ک
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
ک
p(n 1) p(n) p
20

21. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
ماتریس
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
گام
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
21

22. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
n
ماتریس انتقال برای n مرحله P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p (2) p (0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
22

23. زنجیر مارکوف گسسته

فرآیندهای مارکوف
زنجیر مارکوف گسسته
زنجیره های مارکوف برای n چگونه رفتار می کنند؟
برای یک زنجیره مارکوف همگن، تحت شرایط خاص، ویژگی زیر برقرار است: p (n) برای n.
احتمالات 0 به توزیع اولیه بستگی ندارد
p(0) و فقط با ماتریس P تعیین می شوند. در این حالت به آن توزیع ثابت و خود زنجیره ارگودیک می گویند. خاصیت ergodicity به این معنی است که با افزایش n
احتمال حالت ها عملاً تغییر نمی کند و سیستم به حالت عملیاتی پایدار می رود.
من
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
23

24. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
p()(0،0،1)
24

25. زنجیر مارکوف گسسته. مثال

فرآیندهای مارکوف
زنجیر مارکوف گسسته مثال
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0.1017 0.5254 0.3729
0.1017 0.5254 0.3729
p() (0.1017,0.5254,0.3729)
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
25

26. مارکوف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف

یک فرآیند را یک فرآیند زمان پیوسته می نامند اگر
لحظات انتقال احتمالی از حالت به حالت از قبل ثابت نیستند، اما نامشخص، تصادفی هستند و می توانند اتفاق بیفتند.
هر زمان.
مثال. سیستم فناوری S از دو دستگاه تشکیل شده است:
که هر کدام در یک لحظه تصادفی در زمان می توانند خارج شوند
ساختمان، پس از آن تعمیر واحد بلافاصله شروع می شود، همچنین برای یک زمان نامعلوم و تصادفی ادامه می یابد.
حالت های سیستم زیر امکان پذیر است:
S0 - هر دو دستگاه کار می کنند.
S1 - دستگاه اول در حال تعمیر است، دستگاه دوم به درستی کار می کند.
S2 - دستگاه دوم در حال تعمیر است، دستگاه اول به درستی کار می کند.
S3 - هر دو دستگاه در حال تعمیر هستند.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
26

27. مارکف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
انتقال سیستم S از حالتی به حالت دیگر رخ می دهد
تقریباً بلافاصله، در لحظات تصادفی شکست
یک یا دستگاه دیگر یا
اتمام تعمیرات
احتمال همزمانی
خرابی هر دو دستگاه
می توان نادیده گرفت.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
27

28. جریان رویداد

فرآیندهای مارکوف
جریان رویداد
جریان رویدادها دنباله ای از رویدادهای همگن است که یکی پس از دیگری در برخی لحظات تصادفی از زمان دنبال می شوند.
میانگین تعداد رویدادها است
شدت جریان رویداد
در واحد زمان
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
28

29. جریان رویداد

فرآیندهای مارکوف
جریان رویداد
جریانی از رویدادها در صورتی ثابت نامیده می شود که ویژگی های احتمالی آن به زمان بستگی نداشته باشد.
به ویژه، شدت
جریان ثابت ثابت است جریان رویدادها ناگزیر دارای تراکم یا نادر است، اما ماهیت منظمی ندارند و میانگین تعداد رویدادها در واحد زمان ثابت است و به زمان بستگی ندارد.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
29

30. جریان رویداد

فرآیندهای مارکوف
جریان رویداد
جریان رویدادها را یک جریان بدون پیامد می نامند
هر دو دوره زمانی غیر همپوشانی و تعداد رویدادهایی که در یکی از آنها رخ می دهد به تعداد رویدادهای روی دیگری بستگی ندارد. به عبارت دیگر، این بدان معناست که رویدادهایی که جریان را تشکیل می دهند در لحظات خاصی ظاهر می شوند
زمان مستقل از یکدیگر و هر یک به دلایل خاص خود ایجاد می شود.
اگر احتمال وقوع دو یا چند رویداد در یک بخش ابتدایی t در مقایسه با احتمال وقوع یکی ناچیز باشد، جریانی از رویدادها عادی نامیده می شود.
رویدادها، یعنی رویدادها یک به یک در آن ظاهر می شوند و نه در یک گروه چندتایی در آن واحد
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
30

31. جریان رویداد

فرآیندهای مارکوف
جریان رویداد
جریانی از رویدادها ساده‌ترین (یا پواسون ساکن) نامیده می‌شود که در آن واحد سه ویژگی داشته باشد: 1) ثابت، 2) معمولی، 3) هیچ پیامدی نداشته باشد.
ساده ترین جریان ساده ترین توصیف ریاضی را دارد. او در بین جریان ها همان خاص بازی می کند
نقش، مانند قانون توزیع نرمال در میان دیگران
قوانین توزیع یعنی، هنگام روی هم قرار دادن تعداد کافی مستقل، ثابت و معمولی
جریان (در شدت قابل مقایسه با یکدیگر)، نتیجه یک جریان نزدیک به ساده ترین است.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
31

32. جریان رویداد

فرآیندهای مارکوف
جریان رویداد
برای ساده ترین جریان با شدت
فاصله
زمان T بین رویدادهای همسایه دارای نمایی است
توزیع با چگالی
p(x) e x، x 0.
برای متغیر تصادفی T دارای توزیع نمایی، انتظار ریاضی متقابل پارامتر است.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
32

33. مارکوف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
با در نظر گرفتن فرآیندهایی با حالت‌های گسسته و زمان پیوسته، می‌توان فرض کرد که تمام انتقال‌های سیستم S از حالتی به حالت دیگر تحت تأثیر قرار می‌گیرد.
جریان های رویداد ساده (جریان های تماس، جریان های شکست، جریان های بازیابی و غیره).
اگر همه جریان رویدادهایی که سیستم S را از حالتی به حالت دیگر منتقل می‌کنند ساده‌ترین باشند، آنگاه فرآیند در آن رخ می‌دهد
سیستم مارکویی خواهد بود.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
33

34. مارکوف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
اجازه دهید به سیستم موجود در ایالت عمل شود
ساده ترین جریان رویدادها به محض ظاهر شدن اولین رویداد این جریان، سیستم از حالت "پرش" می کند
به شرایط
- شدت جریان رویدادهای انتقال دهنده سیستم
از ایالت
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
V
.
34

35. مارکوف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
اجازه دهید سیستم S مورد بررسی داشته باشد
حالت های ممکن
. احتمال p ij (t) احتمال انتقال از حالت i به حالت j در زمان t است.
احتمال حالت i
این احتمال است که
که در زمان t سیستم در حالت خواهد بود
. بدیهی است، برای هر لحظه در زمان مقدار
از تمام احتمالات حالت برابر با یک است:
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
35

36. مارکوف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
برای پیدا کردن تمام احتمالات حالت
چگونه
توابع زمان، معادلات دیفرانسیل کولموگروف جمع آوری و حل می شوند - نوع خاصی از معادله که در آن توابع مجهول احتمالات حالت ها هستند.
برای احتمالات انتقال:
p ij (t) p ik (t) kj
ک
برای احتمالات بی قید و شرط:
p j (t) p k (t) kj
ک
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
36

37. کولموگروف آندری نیکولایویچ

فرآیندهای مارکوف
کولموگروف آندری نیکولایویچ
1903-1987
روسی بزرگ
ریاضیدان
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
37

38. مارکف با زمان پیوسته پردازش می کند

فرآیندهای مارکوف
فرآیندهای مارکوف زمان پیوسته
- شدت جریان شکست؛
- شدت جریان بازیابی
بگذارید سیستم در حالت باشد
S0. توسط جریان به حالت S1 منتقل می شود
خرابی دستگاه اول شدت آن است
جایی که
- متوسط ​​زمان کارکرد دستگاه
سیستم از حالت S1 به S0 توسط جریان ترمیم ها منتقل می شود
اولین دستگاه شدت آن است
جایی که
- میانگین زمان تعمیر ماشین اول.
شدت جریان های رویداد که سیستم را در امتداد تمام قوس های نمودار منتقل می کند به روشی مشابه محاسبه می شود.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
38

39. سیستم های نوبت دهی

فرآیندهای مارکوف

نمونه هایی از سیستم های خدمات نوبت دهی (QS): مبادلات تلفنی، تعمیرگاه ها،
بلیط
صندوق های پول،
ارجاع
دفتر،
ماشین ابزار و سایر سیستم های تکنولوژیکی،
سیستم های
مدیریت
قابل انعطاف
سیستم های تولید،
پردازش اطلاعات توسط سرورها و غیره
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
39

40. سیستم های نوبت دهی

فرآیندهای مارکوف
سیستم های نوبت دهی
QS شامل تعداد معینی از خدمات است
واحدهایی به نام کانال های سرویس (اینها هستند
ماشین آلات، ربات ها، خطوط ارتباطی، صندوقداران و غیره). هر SMO
برای سرویس دهی به جریان برنامه ها (نیازمندی ها) که در زمان های تصادفی می رسند طراحی شده است.
سرویس درخواست برای یک زمان تصادفی ادامه می یابد و پس از آن کانال آزاد شده و آماده دریافت بعدی می شود
برنامه های کاربردی.
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
40

41. سیستم های نوبت دهی

فرآیندهای مارکوف
سیستم های نوبت دهی
فرآیند عملیات QS یک فرآیند تصادفی با گسسته است
حالات و زمان پیوسته وضعیت QS در لحظات وقوع برخی رویدادها به طور ناگهانی تغییر می کند
(رسیدن درخواست جدید، پایان خدمت، لحظه،
هنگامی که برنامه ای که از انتظار خسته شده است از صف خارج می شود).
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
41

42. سیستم های نوبت دهی

فرآیندهای مارکوف
سیستم های نوبت دهی
طبقه بندی سیستم های نوبت دهی
1. QS با شکست.
2. صف با یک صف.
در QS با امتناع، برنامه‌ای که در زمانی که همه کانال‌ها مشغول هستند دریافت می‌شود، یک رد دریافت می‌کند، QS را ترک می‌کند و دیگر نیست.
خدمت کرده است.
در QS با صف، درخواستی که در زمانی می رسد که همه کانال ها مشغول هستند، خارج نمی شود، بلکه در صف قرار می گیرد و منتظر فرصتی برای ارائه خدمات است.
QS با صف بسته به انواع مختلف تقسیم می شوند
بستگی به نحوه سازماندهی صف دارد - محدود یا نامحدود. محدودیت ها ممکن است برای طول و زمان صف اعمال شود
انتظارات، "انضباط خدمات".
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
42

43. سیستم های نوبت دهی

فرآیندهای مارکوف
سیستم های نوبت دهی
موضوع تئوری صف ساخت است
مدل های ریاضی که شرایط داده شده را به هم متصل می کنند
عملکرد QS (تعداد کانال ها، عملکرد آنها، قوانین
کار، ماهیت جریان برنامه ها) با ویژگی های مورد علاقه ما - شاخص های اثربخشی QS. این شاخص ها توانایی QS را برای مقابله با جریان توصیف می کنند
برنامه های کاربردی. آنها می توانند عبارتند از: میانگین تعداد برنامه های ارائه شده توسط QS در واحد زمان. میانگین تعداد کانال های شلوغ؛ میانگین تعداد برنامه های کاربردی در صف. میانگین زمان انتظار برای خدمات و غیره
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"
43

44.

متشکرم
برای توجه!!!
44

45. یک نمودار انتقال بسازید

فرآیندهای مارکوف
یک نمودار انتقال بسازید
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE، بخش PM، مدرس Kirichenko L.O.
"نظریه احتمالات، ریاضی
آمار و فرآیندهای تصادفی"

برای توصیف ریاضی بسیاری از عملیات‌هایی که در قالب یک فرآیند تصادفی در حال توسعه هستند، می‌توان دستگاه ریاضی توسعه‌یافته در نظریه احتمال برای فرآیندهای تصادفی مارکوف را با موفقیت به کار برد.

تابع X(t)اگر مقدار آن برای هر آرگومان باشد، تصادفی نامیده می شود تی یک متغیر تصادفی است

تابع تصادفی X(t)، که استدلال آن زمان است، نامیده می شود فرآیند تصادفی .

فرآیندهای مارکوف نوع خاصی از فرآیندهای تصادفی هستند. جایگاه ویژه فرآیندهای مارکوف در میان سایر کلاس های فرآیندهای تصادفی به دلیل شرایط زیر است: یک دستگاه ریاضی برای فرآیندهای مارکوف به خوبی توسعه یافته است که امکان حل بسیاری از مسائل عملی را فراهم می کند. با کمک فرآیندهای مارکوف می توان (دقیقا یا تقریباً) رفتار سیستم های نسبتاً پیچیده را توصیف کرد.

تعریف.یک فرآیند تصادفی که در یک سیستم اتفاق می افتد اس، تماس گرفت مارکویان (یا یک فرآیند بدون افترافکت)، اگر دارای ویژگی زیر باشد: برای هر لحظه از زمان t 0احتمال هر حالتی از سیستم در آینده (با t > t 0) فقط به وضعیت آن در زمان حال بستگی دارد (با t = t 0) و بستگی به زمان و نحوه رسیدن سیستم S به این حالت ندارد. یعنی در یک فرآیند تصادفی مارکوف، توسعه آینده این فرآیند به تاریخچه قبلی آن بستگی ندارد.

طبقه بندی فرآیندهای مارکوف . طبقه بندی فرآیندهای تصادفی مارکوف بسته به تداوم یا گسستگی مجموعه مقادیر تابع انجام می شود. X(t)و پارامتر تی. انواع اصلی زیر از فرآیندهای تصادفی مارکوف وجود دارد:

· با حالات گسسته و زمان گسسته (زنجیره مارکوف).

· با حالت های پیوسته و زمان گسسته (دنباله های مارکوف).

· با حالت های گسسته و زمان پیوسته (زنجیره مارکوف پیوسته).

· با حالت پیوسته و زمان پیوسته.

در اینجا فقط فرآیندهای مارکوف با حالت های گسسته در نظر گرفته می شوند S 1, S 2,…, S n. یعنی این حالت ها را می توان یکی پس از دیگری شماره گذاری کرد و خود فرآیند شامل این واقعیت است که سیستم به طور تصادفی حالت خود را به طور ناگهانی تغییر می دهد.

نمودار حالت.فرآیندهای مارکوف با حالت های گسسته به راحتی با استفاده از به اصطلاح نمودار حالت (شکل 1.1) نشان داده می شوند، که در آن حالت ها با مربع نشان داده می شوند. S1، S2، ... سیستم های اسو فلش ها انتقال احتمالی از حالت به حالت را نشان می دهند. نمودار فقط انتقال مستقیم را علامت گذاری می کند، نه انتقال از طریق حالت های دیگر. تأخیرهای احتمالی در حالت قبلی به عنوان یک "حلقه" نشان داده می شوند، یعنی یک فلش که از یک حالت معین به همان حالت هدایت می شود. تعداد حالت های یک سیستم می تواند متناهی یا نامتناهی (اما قابل شمارش) باشد.

برنج. 3.1. نمودار وضعیت سیستم S

وظیفه 1.سیستم اس- خودرویی که می تواند در یکی از پنج حالت باشد.

S 1- در حالت کار خوب، کار می کند؛

S 2- معیوب، در انتظار بازرسی؛

S 3-بررسی

S 4- در حال تعمیر؛

S 5- نوشته شده است.

نموداری از حالات سیستم بسازید.

وظیفه 2.دستگاه فنی اساز 2 گره تشکیل شده است: 1 و 2 که هر کدام در هر زمانی ممکن است از کار بیفتند. هر گره فقط می تواند 2 حالت داشته باشد. 1 - قابل سرویس، 2 - معیوب. نموداری از حالات سیستم بسازید.

وظیفه 3.با این فرض که گره ها در طول فرآیند ترمیم نشوند، یک گراف حالت را تحت شرایط مسئله قبلی بسازید.

وظیفه 4.دستگاه فنی اساز 2 گره تشکیل شده است: 1 و 2 که هر کدام در هر زمانی ممکن است از کار بیفتند. هر واحد، قبل از شروع به بازسازی، به منظور شناسایی عیب مورد بازرسی قرار می گیرد. حالت های سیستم با 2 شاخص شماره گذاری می شوند: S ij (من- وضعیت اولین گره، j- وضعیت گره دوم). هر گره دارای سه حالت (کار، بازرسی، بازیابی) است.

توافق در مورد استفاده از مواد سایت

از شما می خواهیم از آثار منتشر شده در سایت منحصراً برای اهداف شخصی استفاده کنید. انتشار مطالب در سایت های دیگر ممنوع است.
این اثر (و تمام کارهای دیگر) به صورت کاملا رایگان برای دانلود در دسترس است. می توانید ذهنی از نویسنده آن و تیم سایت تشکر کنید.

ارسال کار خوب خود در پایگاه دانش ساده است. از فرم زیر استفاده کنید

دانشجویان، دانشجویان تحصیلات تکمیلی، دانشمندان جوانی که از دانش پایه در تحصیل و کار خود استفاده می کنند از شما بسیار سپاسگزار خواهند بود.

اسناد مشابه

مفاهیم اساسی تئوری زنجیره های مارکوف. تئوری احتمالات محدود. زمینه های کاربرد زنجیره های مارکوف. زنجیر مارکوف کنترل شده انتخاب استراتژی. استراتژی بهینه مارکوف است - همچنین ممکن است به لحظه ای در زمان تصمیم گیری بستگی داشته باشد.

چکیده، اضافه شده در 2004/03/08


زنجیره مارکوف به عنوان یک مورد ساده از دنباله ای از رویدادهای تصادفی، حوزه های کاربرد آن. قضیه محدودیت احتمالات در زنجیره مارکوف، فرمول برابری مارکوف. مثال هایی برای یک زنجیره مارکوف معمولی و همگن، برای یافتن ماتریس انتقال.

کار دوره، اضافه شده در 2011/04/20


مفاهیم اساسی تئوری زنجیره های مارکوف، استفاده از آنها در تئوری صف برای محاسبه توزیع احتمال تعداد دستگاه های اشغال شده در سیستم. روش شناسی برای حل مشکل بهترین انتخاب. مفهوم حالت های مکرر و غیر قابل بازگشت.

کار دوره، اضافه شده در 11/06/2011


زنجیره‌های مارکوف به‌عنوان تعمیم طرح برنولی، توصیفی از دنباله‌ای از رویدادهای تصادفی با تعداد متناهی یا نامحدودی از نتایج. خواص مدارها، ارتباط آنها در علوم کامپیوتر؛ کاربرد: تعیین نویسندگی متن با استفاده از PageRank.

پایان نامه، اضافه شده در 2011/05/19


تعریف یک فرآیند تصادفی در ریاضیات، تعدادی از اصطلاحات و مفاهیمی است که مکانیسم این فرآیند را توصیف می کند. مارکوف، فرآیندهای تصادفی ثابت با حالات گسسته. ویژگی های خاصیت ارگودی فرآیندهای تصادفی ثابت.

چکیده، اضافه شده در 1389/05/15


همگرایی دنباله ای از متغیرهای تصادفی. قضیه حد مرکزی برای متغیرهای تصادفی مستقل با توزیع یکسان. وظایف اصلی آمار ریاضی، ویژگی های آنها. آزمون فرضیه ها با استفاده از معیار همگنی اسمیرنوف.

کار دوره، اضافه شده در 2012/11/13


طبقه بندی رویدادهای تصادفی تابع توزیع ویژگی های عددی متغیرهای تصادفی گسسته. قانون توزیع احتمال یکنواخت توزیع دانش آموزی مسائل آمار ریاضی. برآورد پارامترهای جمعیت.