Ekonometria

nt. „ Wykorzystanie Metody Najmniejszych Kwadratów przy planowaniu eksperymentów”

 


Metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów została wprowadzona przez Legendre'a i Gaussa. Jej istota jest następująca:

Wynik kolejnego pomiaru  można przedstawić jako sumę (nieznanej) wielkości mierzonej  oraz błędu pomiarowego ,

             Od wielkości  oczekujemy, aby suma kwadratów była jak najmniejsza:

           

W wielu przypadkach ten prosty przepis można uzyskać stosując znacznie później opracowaną metodę największej wiarygodności.

Metoda najmniejszych kwadratów jest najczęściej stosowaną w praktyce metodą statystyczną.

Pomiary bezpośrednie o równej i różnej dokładności

Wykonujemy n bezpośrednich pomiarów wielkości x (np. rezystancji lub napięcia). Wyniki pomiaru  obarczone są błędem  o którym założymy, że jest gaussowski ze średnią równą zero i z jednakową wariancją:

,

Jeśli błąd jest gaussowski, to prawdopodobieństwo uzyskania w wyniku pojedynczego pomiaru wielkości  (wewnątrz przedziału dy) wynosi:

           

Stąd otrzymujemy funkcję wiarygodności L i logarytmiczną funkcję wiarygodności l:

            ,

Warunek największej wiarygodności, l=max, jest równoważny warunkowi:

            , a to jest warunek najmniejszych kwadratów.

             Przyrównanie do zera pochodnej funkcji l względem x daje największej wiarygodności  równy estymatorowi najmniejszych kwadratów :

           

Wariancja estymatora  wynosi:

           

Identyfikując błąd z odchyleniem standardowym, otrzymujemy:

           

Wniosek

Dla pomiarów bezpośrednich, obarczonych błędem gaussowskim o średniej zero i stałej wariancji, kryterium metody najmniejszych kwadratów jest równoważne kryteriummetody największej wiarygodności. Estymatory wielkości mierzonej wyznaczane obiema metodami są identyczne:  i obarczone są takim samym błędem .

 

Rozważmy teraz pomiary bezpośrednie o różnej dokładności (różne przyrządy, inny eksperymentator). Pomiary obarczone są błędami gaussowskimi, takimi że, . Prawdopodobieństwo uzyskania w wyniku pojedynczego pomiaru wielkości  (wewnątrz przedziału dy) wynosi:

           

Stąd otrzymujemy funkcję wiarygodności L i logarytmiczną funkcję wiarygodności l:

            ,   

Warunek największej wiarygodności, l=max, jest równoważny warunkowi:

           

Widzimy, że poszczególne składniki sumy są ważone przez odwrotność wariancji. Najlepszym estymatorem dla x jest średnia ważona z poszczególnych pomiarów:

Wynika z tego, że pomiary o dużej wariancji mało wpływają na wynik. Prawo kombinacji błędów prowadzi do zależności:

           

Wniosek

Dla pomiarów bezpośrednich, obarczonych błędem gaussowskim o średniej zero i różnej wariancji, kryterium metody najmniejszych kwadratów nie jest równoważne kryterium metody największej wiarygodności. Estymatory wielkości mierzonej wyznaczane obiema metodami są nie identyczne. Najlepszy estymator wielkości mierzonej otrzymuje się przez wyznaczenie średniej ważonej poszczególnych pomiarów.

Wyznaczanie parametrów

Zadanie estymacji parametrów  definiuje się jako zadanie minimalizacji funkcjonału celu FC określonego dla mierzalnej różnicy pomiędzy sygnałem wyjściowym procesu  i sygnałem wyjściowym modelu.

Skoncentrujemy się na przypadku gdy pomiary odpowiedzi  w kolejnych chwilach czasu dokonywane były z błędem gaussowskim o stałej wariancji , a więc dokonywane były ze stałą dokładnością. Do posiadanych wyników pomiarów pragniemy dopasować pewną funkcję  zależną od czasu t i od zbioru parametrów a. Taką funkcją, naśladującą wyniki pomiarów, może być prosta np. , lub wielomian  lub funkcja eksponencjalna  i inne. O typie funkcji decydują właściwości badanego procesu.

Schematyczny przebieg eksperymentu niezbędnego do identyfikacji parametrów modelu a jest następujący:

                       

Na podstawie pomiarów yk w kolejnych chwilach czasu tk, pragniemy wyznaczyć parametry .

             Miarą jakości dopasowania jest różnica pomiędzy odpowiedzią modelu a danymi doświadczalnymi. Różnica ta, w metodzie najmniejszych kwadratów, wykorzystywana jest do utworzenia funkcji celu FC w postaci:

,

N liczba punktów pomiarowych sygnału wyjściowego.

Gdyby pomiary wykonywane były z różnymi dokładnościami, z błędem gaussowskim, należałoby wykorzystać metodę największej wiarygodności. W ten sposób większą wagę przypisuje się pomiarom dokładniejszym a mniejszą mało dokładnym. Funkcjonał celu ma wtedy postać:

           

Powróćmy do metody najmniejszych kwadratów. Warunek konieczny istnienia minimum funkcji celu jest następujący:

           

gdzie  to odpowiedź modelu w chwilach ,  to próbki odpowiedzi systemu w tych samych chwilach  , k=1,2,..,N. Celem jest wyznaczenie minimum FC a wartości , dla których FC=min, to parametry optymalne: . Pozostałość, zwana residuum (res) wynosi: .

             Poszukiwanie minimum FC wymaga rozwiązania układu równań powstałych po przyrównaniu do zera wszystkich pochodnych cząstkowych  Gdy odpowiedź modelu jest liniowa względem parametrów np.: ), wówczas pochodne cząstkowe dają układ równań liniowych względem parametrów. Gdy funkcja jest nieliniowa (np. ), wówczas powstaje układ równań nieliniowych względem parametrów. Pojawia się problem lokalizacji minimum funkcji nieliniowej w przestrzeni wielowymiarowej, przy czym znacznym utrudnieniem może być występowanie minimów lokalnych funkcji celu.

Skupimy się na liniowej (lub zlinearyzowanej) funkcji y. Załóżmy, że znajdujemy się w pobliżu poszukiwanego , więc operujemy małymi różnicami . Dla małych odchyłek zachodzi , czyli:

Jest to równoważne rozwinięciu funkcji w szereg Taylora i ograniczenie rozwinięcia do czynnika liniowego. A zatem odpowiedź modelu przybliżamy do postaci: . Przedstawmy funkcję celu w zapisie macierzowym, korzystając z powyższego przybliżenia:

           

Aby wyznaczyć optymalny wektor parametrów, należy pochodną FC zróżniczkować względem a i przyrównać do zera:

           

             Daje to tzw. równanie normalne, lub układ normalny:

           

z którego można wyznaczyć jednoznacznie rozwiązanie optymalne  (przy formalnym założeniu, że  jest nieosobliwa i dodatnio określona):

           

             Wniosek: Jeśli funkcja  jest liniowa względem parametrów (lub zlinearyzowana w), wówczas rozwiązanie optymalne, które minimalizuje funkcję celu, może być wyznaczone analitycznie i wynosi: , gdzie:

           

Statystyczne znaczenie macierzy

             Załóżmy, że poszczególne próbki odpowiedzi y są niezależnymi zmiennymi losowymi o wartościach średnich  i jednakowej wariancji :

           

             Zatem dla m

           

             I jest macierzą jednostkową, która wybiera z macierzy wariancji-kowariancji elementy głównej przekątnej, a więc czyni z niej macierz wariancji.

             Skoro y jest wektorem losowym, o wartości średniej i wariancji jak powyżej, to rozwiązanie optymalne a, zależne od y, jest także wektorem losowym, którego średnia  i macierz  wynoszą:

           

Wniosek: Poszukiwane na podstawie pomiarów zmiennej losowej y parametry a są także zmiennymi losowymi o wartości średniej i wariancji danych powyżej.

Statystyczne znaczenie macierzy

             Optymalne parametry modelu wyznaczane są w oparciu o wyniki pomiaru sygnału wyjściowego, a mianowicie:

           

Tę ostatnią zależność przedstawimy w postaci symbolicznej:

           

             Skoro, w rezultacie błędów pomiaru, zamiast dokładnych wartości  znamy wartości przybliżone , to również zamiast dokładnych  otrzymamy wartości przybliżone , a zatem: .

             Wniosek : Każdy element   macierzy  określa wrażliwość parametru  na zmianę wyniku pomiaru .

             Podobnie można utworzyć macierz, której elementy określą wrażliwość  na względną zmianę y o . Zależności są następujące:

           

             Wyrażenia  noszą nazwę wskaźników uwarunkowania lub współczynników wzmocnienia błędów względnych. Gdy są duże, mówimy o zadaniach źle uwarunkowanych, w przeciwnym razie o zadaniach dobrze uwarunkowanych. W zadaniach źle uwarunkowanych małe błędy względne pomiaru y powodują duże błędy względne wyznaczenia zbioru parametrów a. Z punktu widzenia propagacji błędów, dobrze jest wtedy, gdy . Zauważmy, że wymaganiu o małym współczynniku wzmocnienia błędów względnych  towarzyszy wymaganie o dużej czułości odpowiedzi względem parametrów . Jak wynika z doświadczeń, wymagania te mogą być sprzeczne. Jest tak wtedy, gdy maksima  pokrywają się z minimami .

W ogólnym przypadku, zagadnienie poszukiwania parametrów modelu a można sprowadzić do zagadnienia liniowego jeśli tylko znajdujemy się w pobliżu rozwiązania optymalnego i aproksymacja odpowiedzi za pomocą funkcji liniowej jest uzasadniona, tzn. nie wprowadza dużego błędu. Jednak w to oczekiwane pobliże rozwiązanie optymalnego trzeba wcześniej dotrzeć. Służą do tego specjalne algorytmy, zwane algorytmami optymalizacji, dzięki którym możliwe jest numeryczne wyznaczenie rozwiązania optymalnego, tj. aopt. Omówione są w następnym wykładzie.

7.1    Uogólnione własności metody najmniejszych kwadratów

Dotychczas przedstawialiśmy metodę najmniejszych kwadratów jako zastosowanie metody największej wiarygodności: maksymalizacja logarytmicznej funkcji wiarygodności doprowadziła nas do metody najmniejszych kwadratów:

           

gdzie:

Korzystaliśmy przy tym z założenia o gaussowskim charakterze błędów pomiarowych w kolejnych chwilach i z założenia, że kolejne pomiary są niezależne.

Uporządkujemy informacje dotyczące metody najmniejszych kwadratów.

Zapiszmy ogólną postać funkcji celu:

            , gdzie; ,  to odwrotność diagonalnej macierzy kowariancji dla sygnału pomiarowego  o niezależnych próbkach.

Celem jest uzyskanie estymatora wektora parametrów , dla którego .

W pierwszym przybliżeniu wyrażenia  (w ogólności nieliniowe) rozwija się w szereg Taylora w obranym, możliwie trafnie, punkcie początkowym . Rozwinięcie zostaje ograniczone do czynnika liniowego i na tej podstawie oblicza się pierwsze przybliżenie . Procedurę powtarza się aż do spełnienia obranego kryterium tj. uzyskania minimalnej wartości funkcji celu.

Gdy  jest liniową funkcją parametrów, wówczas zadanie poszukiwania minimum funkcji celu ma rozwiązanie analityczne:

 

 

 

LITERATURA

[1]                Aczel A.D., "Statystyka w zarządzaniu", PWN, Warszawa 2000.

[2]                Brandt S., "Analiza danych", PWN, Warszawa 1999.

[3]                Dąbkowski J., "Statgraphics", KOW Help, Warszawa1992.

[4]                Goldberg D.E., "Algorytmy genetyczne i ich zastosowania", WNT, Warszawa 1995.

[5]                Jóżwiak J., Podgórski J., "Statystyka od podstaw", PWE, Warszawa 1994.

[6]                Kacprzyński B., "Planowanie eksperymentów", WNT, Warszawa 1974.

 

 

Poc na stronie: ekonometria