Ekonometria

nt. „ Wykorzystanie Metody Najmniejszych Kwadratów przy planowaniu eksperymentów”

Metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów została wprowadzona przez Legendre'a i Gaussa. Jej istota jest następujšca:

Wynik kolejnego pomiaru można przedstawić jako sumę (nieznanej) wielkoœci mierzonej oraz błędu pomiarowego ,

Od wielkoœci oczekujemy, aby suma kwadratów była jak najmniejsza:

W wielu przypadkach ten prosty przepis można uzyskać stosujšc znacznie póŸniej opracowanš metodę największej wiarygodnoœci.

Metoda najmniejszych kwadratów jest najczęœciej stosowanš w praktyce metodš statystycznš.

Pomiary bezpoœrednie o równej i różnej dokładnoœci

Wykonujemy n bezpoœrednich pomiarów wielkoœci x (np. rezystancji lub napięcia). Wyniki pomiaru obarczone sš błędem o którym założymy, że jest gaussowski ze œredniš równš zero i z jednakowš wariancjš:

,

Jeœli błšd jest gaussowski, to prawdopodobieństwo uzyskania w wyniku pojedynczego pomiaru wielkoœci (wewnštrz przedziału dy) wynosi:

Stšd otrzymujemy funkcję wiarygodnoœci L i logarytmicznš funkcję wiarygodnoœci l:

,

Warunek największej wiarygodnoœci, l=max, jest równoważny warunkowi:

, a to jest warunek najmniejszych kwadratów.

Przyrównanie do zera pochodnej funkcji l względem x daje estymator największej wiarygodnoœci równy estymatorowi najmniejszych kwadratów :

Wariancja estymatora wynosi:

Identyfikujšc błšd z odchyleniem standardowym, otrzymujemy:

Wniosek

Dla pomiarów bezpoœrednich, obarczonych błędem gaussowskim o œredniej zero i stałej wariancji, kryterium metody najmniejszych kwadratów jest równoważne kryterium metody największej wiarygodnoœci. Estymatory wielkoœci mierzonej wyznaczane obiema metodami sš identyczne: i obarczone sš takim samym błędem .

Rozważmy teraz pomiary bezpoœrednie o różnej dokładnoœci (różne przyrzšdy, inny eksperymentator). Pomiary obarczone sš błędami gaussowskimi, takimi że, . Prawdopodobieństwo uzyskania w wyniku pojedynczego pomiaru wielkoœci (wewnštrz przedziału dy) wynosi:

Stšd otrzymujemy funkcję wiarygodnoœci L i logarytmicznš funkcję wiarygodnoœci l:

,

Warunek największej wiarygodnoœci, l=max, jest równoważny warunkowi:

Widzimy, że poszczególne składniki sumy sš ważone przez odwrotnoœć wariancji. Najlepszym estymatorem dla x jest œrednia ważona z poszczególnych pomiarów:

Wynika z tego, że pomiary o dużej wariancji mało wpływajš na wynik. Prawo kombinacji błędów prowadzi do zależnoœci:

Wniosek

Dla pomiarów bezpoœrednich, obarczonych błędem gaussowskim o œredniej zero i różnej wariancji, kryterium metody najmniejszych kwadratów nie jest równoważne kryterium metody największej wiarygodnoœci. Estymatory wielkoœci mierzonej wyznaczane obiema metodami sš nie identyczne. Najlepszy estymator wielkoœci mierzonej otrzymuje się przez wyznaczenie œredniej ważonej poszczególnych pomiarów.

Wyznaczanie parametrów

Zadanie estymacji parametrów definiuje się jako zadanie minimalizacji funkcjonału celu FC okreœlonego dla mierzalnej różnicy pomiędzy sygnałem wyjœciowym procesu i sygnałem wyjœciowym modelu.

Skoncentrujemy się na przypadku gdy pomiary odpowiedzi w kolejnych chwilach czasu dokonywane były z błędem gaussowskim o stałej wariancji , a więc dokonywane były ze stałš dokładnoœciš. Do posiadanych wyników pomiarów pragniemy dopasować pewnš funkcję zależnš od czasu t i od zbioru parametrów a. Takš funkcjš, naœladujšcš wyniki pomiarów, może być prosta np. , lub wielomian lub funkcja eksponencjalna i inne. O typie funkcji decydujš właœciwoœci badanego procesu.

Schematyczny przebieg eksperymentu niezbędnego do identyfikacji parametrów modelu a jest następujšcy:

Na podstawie pomiarów y_k w kolejnych chwilach czasu t_k, pragniemy wyznaczyć parametry .

Miarš jakoœci dopasowania jest różnica pomiędzy odpowiedziš modelu a danymi doœwiadczalnymi. Różnica ta, w metodzie najmniejszych kwadratów, wykorzystywana jest do utworzenia funkcji celu FC w postaci:

,

N liczba punktów pomiarowych sygnału wyjœciowego.

Gdyby pomiary wykonywane były z różnymi dokładnoœciami, z błędem gaussowskim, należałoby wykorzystać metodę największej wiarygodnoœci. W ten sposób większš wagę przypisuje się pomiarom dokładniejszym a mniejszš mało dokładnym. Funkcjonał celu ma wtedy postać:

Powróćmy do metody najmniejszych kwadratów. Warunek konieczny istnienia minimum funkcji celu jest następujšcy:

gdzie to odpowiedŸ modelu w chwilach , to próbki odpowiedzi systemu w tych samych chwilach , k=1,2,..,N. Celem jest wyznaczenie minimum FC a wartoœci , dla których FC=min, to parametry optymalne: . Pozostałoœć, zwana residuum (res) wynosi: .

Poszukiwanie minimum FC wymaga rozwišzania układu równań powstałych po przyrównaniu do zera wszystkich pochodnych czšstkowych Gdy odpowiedŸ modelu jest liniowa względem parametrów (np.: ), wówczas pochodne czšstkowe dajš układ równań liniowych względem parametrów. Gdy funkcja jest nieliniowa (np. ), wówczas powstaje układ równań nieliniowych względem parametrów. Pojawia się problem lokalizacji minimum funkcji nieliniowej w przestrzeni wielowymiarowej, przy czym znacznym utrudnieniem może być występowanie minimów lokalnych funkcji celu.

Skupimy się na liniowej (lub zlinearyzowanej) funkcji y. Załóżmy, że znajdujemy się w pobliżu poszukiwanego , więc operujemy małymi różnicami . Dla małych odchyłek zachodzi , czyli:

Jest to równoważne rozwinięciu funkcji w szereg Taylora i ograniczenie rozwinięcia do czynnika liniowego. A zatem odpowiedŸ modelu przybliżamy do postaci: . Przedstawmy funkcję celu w zapisie macierzowym, korzystajšc z powyższego przybliżenia:

Aby wyznaczyć optymalny wektor parametrów, należy pochodnš FC zróżniczkować względem a i przyrównać do zera:

Daje to tzw. równanie normalne, lub układ normalny:

z którego można wyznaczyć jednoznacznie rozwišzanie optymalne (przy formalnym założeniu, że jest nieosobliwa i dodatnio okreœlona):

Wniosek: Jeœli funkcja jest liniowa względem parametrów (lub zlinearyzowana w), wówczas rozwišzanie optymalne, które minimalizuje funkcję celu, może być wyznaczone analitycznie i wynosi: , gdzie:

Statystyczne znaczenie macierzy

Załóżmy, że poszczególne próbki odpowiedzi y sš niezależnymi zmiennymi losowymi o wartoœciach œrednich i jednakowej wariancji :

Zatem dla m

I jest macierzš jednostkowš, która wybiera z macierzy wariancji-kowariancji elementy głównej przekštnej, a więc czyni z niej macierz wariancji.

Skoro y jest wektorem losowym, o wartoœci œredniej i wariancji jak powyżej, to rozwišzanie optymalne a, zależne od y, jest także wektorem losowym, którego œrednia i macierz wynoszš:

Wniosek: Poszukiwane na podstawie pomiarów zmiennej losowej y parametry a sš także zmiennymi losowymi o wartoœci œredniej i wariancji danych powyżej.

Statystyczne znaczenie macierzy

Optymalne parametry modelu wyznaczane sš w oparciu o wyniki pomiaru sygnału wyjœciowego, a mianowicie:

Tę ostatniš zależnoœć przedstawimy w postaci symbolicznej:

Skoro, w rezultacie błędów pomiaru, zamiast dokładnych wartoœci znamy wartoœci przybliżone , to również zamiast dokładnych otrzymamy wartoœci przybliżone , a zatem: .

Wniosek : Każdy element macierzy okreœla wrażliwoœć parametru na zmianę wyniku pomiaru .

Podobnie można utworzyć macierz, której elementy okreœlš wrażliwoœć na względnš zmianę y o . Zależnoœci sš następujšce:

Wyrażenia noszš nazwę wskaŸników uwarunkowania lub współczynników wzmocnienia błędów względnych. Gdy sš duże, mówimy o zadaniach Ÿle uwarunkowanych, w przeciwnym razie o zadaniach dobrze uwarunkowanych. W zadaniach Ÿle uwarunkowanych małe błędy względne pomiaru y powodujš duże błędy względne wyznaczenia zbioru parametrów a. Z punktu widzenia propagacji błędów, dobrze jest wtedy, gdy . Zauważmy, że wymaganiu o małym współczynniku wzmocnienia błędów względnych towarzyszy wymaganie o dużej czułoœci odpowiedzi względem parametrów . Jak wynika z doœwiadczeń, wymagania te mogš być sprzeczne. Jest tak wtedy, gdy maksima pokrywajš się z minimami .

W ogólnym przypadku, zagadnienie poszukiwania parametrów modelu a można sprowadzić do zagadnienia liniowego jeœli tylko znajdujemy się w pobliżu rozwišzania optymalnego i aproksymacja odpowiedzi za pomocš funkcji liniowej jest uzasadniona, tzn. nie wprowadza dużego błędu. Jednak w to oczekiwane pobliże rozwišzanie optymalnego trzeba wczeœniej dotrzeć. Służš do tego specjalne algorytmy, zwane algorytmami optymalizacji, dzięki którym możliwe jest numeryczne wyznaczenie rozwišzania optymalnego, tj. a_opt. Omówione sš w następnym wykładzie.

7.1 Uogólnione własnoœci metody najmniejszych kwadratów

Dotychczas przedstawialiœmy metodę najmniejszych kwadratów jako zastosowanie metody największej wiarygodnoœci: maksymalizacja logarytmicznej funkcji wiarygodnoœci doprowadziła nas do metody najmniejszych kwadratów:

gdzie:

Korzystaliœmy przy tym z założenia o gaussowskim charakterze błędów pomiarowych w kolejnych chwilach i z założenia, że kolejne pomiary sš niezależne.

Uporzšdkujemy informacje dotyczšce metody najmniejszych kwadratów.

Zapiszmy ogólnš postać funkcji celu:

, gdzie; , to odwrotnoœć diagonalnej macierzy kowariancji dla sygnału pomiarowego o niezależnych próbkach.

Celem jest uzyskanie estymatora wektora parametrów , dla którego .

W pierwszym przybliżeniu wyrażenia (w ogólnoœci nieliniowe) rozwija się w szereg Taylora w obranym, możliwie trafnie, punkcie poczštkowym . Rozwinięcie zostaje ograniczone do czynnika liniowego i na tej podstawie oblicza się pierwsze przybliżenie . Procedurę powtarza się aż do spełnienia obranego kryterium tj. uzyskania minimalnej wartoœci funkcji celu.

Gdy jest liniowš funkcjš parametrów, wówczas zadanie poszukiwania minimum funkcji celu ma rozwišzanie analityczne:

Przyjęte w powyższych rozważaniach założeni o gaussowskim charakterze błędów pomiarowych może być osłabione. Gdy błędy majš rozkład symetryczny względem zera, to rozwišzanie uzyskane metodš najmniejszych kwadratów ma nadal minimalnš wariancję (twierdzenie Gaussa-Markowa).

LITERATURA

[1] Aczel A.D., "Statystyka w zarzšdzaniu", PWN, Warszawa 2000.

[2] Brandt S., "Analiza danych", PWN, Warszawa 1999.

[3] Dšbkowski J., "Statgraphics", KOW Help, Warszawa1992.

[4] Goldberg D.E., "Algorytmy genetyczne i ich zastosowania", WNT, Warszawa 1995.

[5] Jóżwiak J., Podgórski J., "Statystyka od podstaw", PWE, Warszawa 1994.

[6] Kacprzyński B., "Planowanie eksperymentów", WNT, Warszawa 1974.

Poc na stronie: ekonometria