שאלת מבחן בהסתברות - האוניברסיטה הפתוחה 2022 - משתנה מקרי רציף

נתונה פונקציית הצפיפות הבאה של משתנה מקרי $X$: $$f_X(x) = e^{-(x-\theta)}, \quad x > \theta, \quad \theta > 0$$ כאשר $\theta$ הינו פרמטר שערכו לא ידוע ויש לאמוד אותו על סמך מדגם מקרי בגודל $n$ מהתפלגות זו. א. מצאו אומד חסר הטיה ל- $\theta$. ב. מצאו אומד נראות מקסימלית ל- $\theta$. ג. מצאו אומד נראות מקסימלית ל- $P(X > 20)$.

רמז: כדי למצוא אומד חסר הטיה, חשבו את התוחלת של $X$. עבור אומד נראות מקסימלית, רשמו את פונקציית הנראות תוך שימת לב לתחום ההגדרה שתלוי בפרמטר $\theta$, והשתמשו בתכונת האינווריאנטיות בסעיף ג'.

פתרון: **א. מציאת אומד חסר הטיה ל-$ \theta $** ראשית, נחשב את התוחלת של המשתנה המקרי $X$. התוחלת $E[X]$ נתונה על ידי האינטגרל: $$ E[X] = \int_{-\infty}^{\infty} x f_X(x) dx = \int_{\theta}^{\infty} x e^{-(x-\theta)} dx $$ נבצע החלפת משתנים: $y = x - \theta$. מכאן, $x = y + \theta$ ו-$dy = dx$. גבולות האינטגרציה משתנים בהתאם: כאשר $x \to \theta$, אז $y \to 0$, וכאשר $x \to \infty$, אז $y \to \infty$. $$ E[X] = \int_{0}^{\infty} (y+\theta) e^{-y} dy = \int_{0}^{\infty} y e^{-y} dy + \theta \int_{0}^{\infty} e^{-y} dy $$ האינטגרל הראשון הוא התוחלת של משתנה מקרי מעריכי עם פרמטר $\lambda=1$, ששווה ל-1. האינטגרל השני הוא אינטגרל על פונקציית צפיפות מעריכית עם $\lambda=1$, ששווה ל-1. לכן, $$ E[X] = 1 + \theta \cdot 1 = 1 + \theta $$ אנו מחפשים **אומד חסר הטיה** (unbiased estimator) ל-$\theta$, כלומר סטטיסטי $\hat{\theta}$ המבוסס על המדגם $X_1, \ldots, X_n$ כך ש-$E[\hat{\theta}] = \theta$. ידוע כי ממוצע המדגם, $\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i$, הוא אומד חסר הטיה לתוחלת האוכלוסייה, $E[X]$. נחשב את התוחלת של $\bar{X}$: $$ E[\bar{X}] = E\left[\frac{1}{n} \sum_{i=1}^n X_i\right] = \frac{1}{n} \sum_{i=1}^n E[X_i] = \frac{1}{n} \sum_{i=1}^n (1+\theta) = \frac{1}{n} \cdot n(1+\theta) = 1+\theta $$ התוחלת של $\bar{X}$ אינה $\theta$, אלא $1+\theta$. לכן, $\bar{X}$ הוא אומד מוטה. ההטיה היא $E[\bar{X}] - \theta = 1$. כדי לתקן את ההטיה, נגדיר אומד חדש: $$ \hat{\theta} = \bar{X} - 1 = \left(\frac{1}{n} \sum_{i=1}^n X_i\right) - 1 $$ נבדוק את תוחלתו של אומד זה: $$ E[\hat{\theta}] = E[\bar{X} - 1] = E[\bar{X}] - 1 = (1+\theta) - 1 = \theta $$ מכיוון ש-$E[\hat{\theta}] = \theta$, האומד $\hat{\theta} = \bar{X} - 1$ הוא אומד חסר הטיה לפרמטר $\theta$. $\blacksquare$ **ב. מציאת אומד נראות מקסימלית ל-$ \theta $** **פונקציית הנראות** (likelihood function) עבור מדגם מקרי $x_1, \ldots, x_n$ היא: $$ L(\theta) = \prod_{i=1}^n f_X(x_i | \theta) = \prod_{i=1}^n e^{-(x_i-\theta)}, \quad \text{for } x_i > \theta \text{ for all } i $$ התנאי $x_i > \theta$ לכל $i$ שקול לתנאי $\theta < \min(x_1, \ldots, x_n)$. נסמן את הסטטיסטי של מינימום המדגם ב-$x_{(1)} = \min(x_1, \ldots, x_n)$. לכן, ניתן לכתוב את פונקציית הנראות כך: $$ L(\theta) = \begin{cases} \prod_{i=1}^n e^{-(x_i-\theta)} & \theta < x_{(1)} \\ 0 & \theta \ge x_{(1)} \end{cases} $$ עבור $\theta < x_{(1)}$, נפשט את הביטוי: $$ L(\theta) = e^{-\sum_{i=1}^n (x_i-\theta)} = e^{-\sum x_i + n\theta} = e^{-\sum x_i} e^{n\theta} $$ כדי למצוא את הערך של $\theta$ שממקסם את $L(\theta)$, נשים לב שהגורם $e^{-\sum x_i}$ אינו תלוי ב-$\theta$. הגורם $e^{n\theta}$ הוא פונקציה עולה מונוטונית של $\theta$. לכן, כדי למקסם את $L(\theta)$, עלינו לבחור את הערך הגדול ביותר האפשרי של $\theta$. התחום המותר ל-$\theta$ הוא $\theta < x_{(1)}$. הערך הגדול ביותר של $\theta$ שמקיים את התנאי הוא קצה התחום, כלומר $x_{(1)}$. לפיכך, **אומד הנראות המקסימלית** (Maximum Likelihood Estimator, MLE) ל-$\theta$ הוא: $$ \hat{\theta}_{MLE} = X_{(1)} = \min(X_1, \ldots, X_n) $$ $\blacksquare$ **ג. מציאת אומד נראות מקסימלית ל-$ P(X > 20) $** תחילה, נחשב את ההסתברות $P(X > 20)$ כפונקציה של $\theta$. נסמן $\psi = P(X>20)$. החישוב תלוי ביחס בין 20 לבין $\theta$, שהוא הגבול התחתון של תומך ההתפלגות. * **מקרה 1:** אם $20 \le \theta$. מאחר והתומך של $X$ הוא $( \theta, \infty)$, כל ערך אפשרי של $X$ גדול מ-$\theta$, ולכן גם גדול מ-20. במקרה זה, המאורע $X > 20$ הוא המאורע הוודאי, ולכן: $$ \psi = P(X > 20) = 1 $$ * **מקרה 2:** אם $20 > \theta$. במקרה זה, ההסתברות מחושבת על ידי אינטגרל על פונקציית הצפיפות: $$ \psi = P(X > 20) = \int_{20}^{\infty} e^{-(x-\theta)} dx = e^{\theta} \int_{20}^{\infty} e^{-x} dx = e^{\theta} \left[ -e^{-x} \right]_{20}^{\infty} = e^{\theta} (0 - (-e^{-20})) = e^{-(20-\theta)} $$ לסיכום, ההסתברות כפונקציה של $\theta$ היא: $$ \psi(\theta) = P(X > 20) = \begin{cases} e^{-(20-\theta)} & \theta < 20 \\ 1 & \theta \ge 20 \end{cases} $$ על פי **תכונת האינווריאנטיות של אומדי נראות מקסימלית**, אם $\hat{\theta}_{MLE}$ הוא אומד נראות מקסימלית ל-$\theta$, אז $g(\hat{\theta}_{MLE})$ הוא אומד נראות מקסימלית ל-$g(\theta)$. במקרה שלנו, $g(\theta) = \psi(\theta)$ ו-$\hat{\theta}_{MLE} = X_{(1)}$. לכן, אומד הנראות המקסימלית ל-$P(X > 20)$ הוא: $$ \widehat{P(X > 20)}_{MLE} = \psi(\hat{\theta}_{MLE}) = \psi(X_{(1)}) $$ נציב את $X_{(1)}$ בפונקציה $\psi(\theta)$: $$ \widehat{P(X > 20)}_{MLE} = \begin{cases} e^{-(20-X_{(1)})} & X_{(1)} < 20 \\ 1 & X_{(1)} \ge 20 \end{cases} $$ $\blacksquare$