Poznaj przykłady szacowania maksymalnego prawdopodobieństwa

Steve Debenport/E+/Getty Images

Załóżmy, że mamy losowa próbka z populacji zainteresowania. Możemy mieć teoretyczny model sposobu, w jaki populacja jest rozpowszechniany. Może być jednak kilka populacji parametry których nie znamy wartości. Oszacowanie maksymalnego prawdopodobieństwa jest jednym ze sposobów określenia tych nieznanych parametrów.

Podstawową ideą stojącą za estymacją największej wiarygodności jest to, że określamy wartości tych nieznanych parametrów. Robimy to w taki sposób, aby zmaksymalizować powiązaną wspólną funkcję gęstości prawdopodobieństwa lub prawdopodobieństwo funkcji masowej . Zobaczymy to bardziej szczegółowo w dalszej części. Następnie obliczymy kilka przykładów estymacji największej wiarygodności.

Kroki do oszacowania maksymalnego prawdopodobieństwa

Powyższą dyskusję można podsumować następującymi krokami:

1. Zacznij od próby niezależnych zmiennych losowych X₁, X_dwa,. . . X_nze wspólnego rozkładu, każdy z funkcją gęstości prawdopodobieństwa f(x;θ₁,. . .i_k). Thetas są parametrami nieznanymi.
2. Ponieważ nasza próbka jest niezależna, prawdopodobieństwo uzyskania konkretnej próbki, którą obserwujemy, znajduje się przez pomnożenie naszych prawdopodobieństw. To daje nam funkcję wiarygodności L(θ₁,. . .i_k) = f( x₁i₁,. . .i_k) f( x_dwai₁,. . .i_k) . . . f(x_ni₁,. . .i_k) = Π f( x_ii₁,. . .i_k).
3. Następnie używamy Rachunek różniczkowy aby znaleźć wartości teta, które maksymalizują naszą funkcję wiarygodności L.
4. Dokładniej, różnicujemy funkcję wiarygodności L względem θ, jeśli istnieje pojedynczy parametr. W przypadku wielu parametrów obliczamy pochodne cząstkowe L względem każdego z parametrów theta.
5. Aby kontynuować proces maksymalizacji, ustaw pochodną L (lub pochodne cząstkowe) na zero i rozwiąż teta.
6. Następnie możemy użyć innych technik (takich jak test drugiej pochodnej), aby sprawdzić, czy znaleźliśmy maksimum dla naszej funkcji wiarygodności.

Przykład

Załóżmy, że mamy paczkę nasion, z których każde ma stałe prawdopodobieństwo p sukcesu kiełkowania. Sadzimy n z nich i policz liczbę tych, które kiełkują. Załóżmy, że każde nasiono kiełkuje niezależnie od pozostałych. Jak określić estymator największej wiarygodności parametru? p ?

Zaczynamy od zwrócenia uwagi, że każde ziarno jest modelowane przez dystrybucję Bernoulliego z sukcesem p. Pozwalamy X być 0 lub 1, a funkcja masy prawdopodobieństwa dla pojedynczego ziarna to f ( x ; p ) = p^x (1 - p )^{1 - x}.

Nasza próbka składa się z n różne X_i , każdy z ma rozkład Bernoulliego. Nasiona, które kiełkują, X_i = 1, a nasiona, które nie wykiełkują, mają X_i = 0.

Funkcja wiarygodności dana jest wzorem:

L ( p ) = P p^x_i (1 - p )^{1 - x}_i

Widzimy, że można przepisać funkcję wiarygodności za pomocą praw wykładników.

L ( p ) = p^Sx_i (1 - p ) ^{n - Sx}_i

Następnie różnicujemy tę funkcję ze względu na p . Zakładamy, że wartości dla wszystkich X_i są znane, a zatem są stałe. Aby zróżnicować funkcję wiarygodności musimy użyć reguła produktu wraz z regułą mocy :

L' ( p ) = Σ x_i p ^{-1 +S x}_i(1 - p ) ^{n - Sx}_i - ( n - Sx_i)p^Sx_i (1 - p ) ^{n -1 - Sx}_i

Przepisujemy niektóre z ujemnych wykładników i mamy:

L' ( p ) = (1/ p ) Sx_ip^Sx_i(1 - p ) ^{n - Sx}_i - 1/(1 - p ) ( n - Sx_i)p^Sx_i (1 - p ) ^{n - Sx}_i

= [(1/ p ) Sx_i- 1/(1 - p ) ( n - Sx_i )]_ip^Sx_i(1 - p ) ^{n - Sx}_i

Teraz, aby kontynuować proces maksymalizacji, ustawiamy tę pochodną równą zero i rozwiązujemy dla p:

0 = [(1/ p ) Sx_i- 1/(1 - p ) ( n - Sx_i )]_ip^Sx_i(1 - p ) ^{n - Sx}_i

Odkąd p i 1- p ) są niezerowe, mamy to

0 = (1/ p ) Sx_i- 1/(1 - p ) ( n - Sx_i ).

Mnożenie obu stron równania przez p (1- p ) daje nam:

0 = (1 - p ) Sx_i- p ( n - Sx_i ).

Rozwijamy prawą stronę i widzimy:

0 = Σx_i- p Sx_i- p n + pΣ x_i = Σ x_i- p n .

Zatem Σ x_i= p n oraz (1/n)Σ x_i= s. Oznacza to, że estymator największej wiarygodności p jest średnią z próby. Dokładniej jest to proporcja próbki nasion, które wykiełkowały. Jest to całkowicie zgodne z tym, co podpowiada nam intuicja. Aby określić proporcję nasion, które wykiełkują, najpierw rozważ próbkę z populacji będącej przedmiotem zainteresowania.

Modyfikacje kroków

Istnieje kilka modyfikacji powyższej listy kroków. Na przykład, jak widzieliśmy powyżej, zazwyczaj warto poświęcić trochę czasu na użycie algebry, aby uprościć wyrażenie funkcji wiarygodności. Powodem tego jest ułatwienie przeprowadzenia zróżnicowania.

Kolejną zmianą w powyższej liście kroków jest rozważenie logarytmów naturalnych. Maksimum dla funkcji L wystąpi w tym samym punkcie, co dla logarytmu naturalnego L. Zatem maksymalizacja ln L jest równoważna maksymalizacji funkcji L.

Wielokrotnie, ze względu na obecność funkcji wykładniczych w L, wzięcie logarytmu naturalnego L znacznie uprości część naszej pracy.

Przykład

Zobaczymy, jak korzystać z logarytmu naturalnego, powracając do powyższego przykładu. Zaczynamy od funkcji wiarygodności:

L ( p ) = p^Sx_i (1 - p ) ^{n - Sx}_i.

Następnie korzystamy z naszych praw logarytmicznych i widzimy, że:

R( p ) = lnL( p ) = Σ x_ija p + ( n - Sx_i ) ln(1 - p ).

Widzimy już, że pochodna jest znacznie łatwiejsza do obliczenia:

R'( p ) = (1/ p )S x_i- 1/(1 - p )( n - Sx_i ) .

Teraz, tak jak poprzednio, ustawiamy tę pochodną równą zero i mnożymy obie strony przez p (1 - p ):

0 = (1- p ) Sx_i- p ( n - Sx_i ) .

Rozwiązujemy dla p i znajdź ten sam wynik, co poprzednio.

Użycie logarytmu naturalnego L(p) jest pomocne w jeszcze inny sposób. Dużo łatwiej jest obliczyć drugą pochodną R(p), aby sprawdzić, czy naprawdę mamy maksimum w punkcie (1/n)Σ x_i= s.

Przykład

Na przykład załóżmy, że mamy losową próbkę X₁, X_dwa,. . . X_nz populacji, którą modelujemy z rozkładem wykładniczym. Funkcja gęstości prawdopodobieństwa dla jednej zmiennej losowej ma postać f ( x ) = i ^{- 1} oraz ^{-x /th}

Funkcja prawdopodobieństwa jest podana przez funkcję gęstości prawdopodobieństwa łącznego. Jest to iloczyn kilku z tych funkcji gęstości:

L(θ) = Π θ ^{- 1} oraz^-x_i ^/th= i ^-n oraz^{-S x}_i ^/th

Ponownie warto rozważyć logarytm naturalny funkcji wiarygodności. Zróżnicowanie tego będzie wymagało mniej pracy niż zróżnicowanie funkcji wiarygodności:

R(θ) = ln L(θ) = ln [θ ^-n oraz^{-S x}_i ^/th]

Korzystamy z naszych praw logarytmów i uzyskujemy:

R(θ) = ln L(θ) = - n w ja + - S x_i/th

Rozróżniamy ze względu na θ i mamy:

R'(θ) = - n / i + S x_i/th ^dwa

Ustaw tę pochodną równą zero i widzimy, że:

0 = - n / i + S x_i/th ^dwa.

Pomnóż obie strony przez i ^dwaa wynik to:

0 = - n i + S x_i .

Teraz użyj algebry do rozwiązania θ:

= (1/n)S x_i .

Widzimy z tego, że średnia próbki jest tym, co maksymalizuje funkcję wiarygodności. Parametr θ pasujący do naszego modelu powinien być po prostu średnią wszystkich naszych obserwacji.

Znajomości

Istnieją inne rodzaje estymatorów. Jeden alternatywny typ estymacji nazywa się an bezstronny estymator . Dla tego typu musimy obliczyć oczekiwaną wartość naszej statystyki i określić, czy pasuje ona do odpowiedniego parametru.