© Copyright StatSoft, Inc., 1984-2024
Przeszukaj Internetowy Podręcznik Statystyki
Ogólne modele liniowe (GLM)
Rozdział ten opisuje zastosowanie ogólnego modelu liniowego w szerokim zakresie analiz statystycznych. Jeśli czytelnik nie zna dobrze podstawowych zagadnień analizy wariancji i analizy regresji w modelach liniowych, zaleca się przestudiowanie podstawowych informacji dotyczących tych zagadnień, zawartych w temacie Podstawowe pojęcia w statystyce . Szczegółowe omówienie jednowymiarowych i wielowymiarowych technik analizy wariancji można także znaleźć w rozdziale ANOVA/MANOVA .

Podstawowe idee: Ogólny model liniowy

Poniższe tematy zawierają podsumowanie historycznych, matematycznych i numerycznych podstaw zagadnienia ogólnego modelu liniowego. Wstęp do technik analizy wariancji ANOVA (MANOVA, ANCOVA) można znaleźć w rozdziale ANOVA/MANOVA . Wprowadzenie do problematyki regresji wielorakiej znajduje się w części Regresja wieloraka , a wprowadzenie do problematyki planowania i analizy doświadczeń w zastosowaniach praktycznych (przemysłowych) można znaleźć w rozdziale Planowanie doświadczeń .

Tło historyczne

Korzenie ogólnego modelu liniowego z pewnością sięgają do początków myśli matematycznej, ale dopiero powstanie teorii niezmienników algebraicznych w XIX wieku umożliwiło jego sformułowanie w obecnej postaci. Teoria niezmienników algebraicznych została rozwinięta w oparciu o fundamentalne prace takich XIX wiecznych matematyków, jak: Gauss, Boole, Cayley i Sylvester. Teoria ta usiłuje zidentyfikować te wielkości występujące w układzie równań, które pozostają niezmienione po przeprowadzeniu liniowych transformacji zmiennych układu. Wyrażając to bardziej obrazowo (ale w sposób, który twórcy tej teorii nie uznaliby za zbyt przesadzony), teoria niezmienników algebraicznych poszukuje elementów trwałych i niezmiennych pośród chaosu przemijania i iluzji. Jest to cel niezwykle ważny dla jakiejkolwiek teorii, nie tylko matematycznej, ale także każdej innej.

Nic dziwnego, że teoria niezmienników algebraicznych odnosiła sukcesy znacznie przekraczające oczekiwania jej twórców. Pojęcia, takie jak: wartości własne, wektory własne, wyznaczniki czy metody dekompozycji macierzy wywodzą się z teorii niezmienników algebraicznych. Teorii niezmienników algebraicznych można przypisać duży wkład w rozwój teorii i metod statystycznych. Dobrą ilustrację stanowi prosty przykład, zrozumiały nawet dla początkującego studenta. Korelacja pomiędzy dwiema zmiennymi pozostaje niezmieniona po liniowej transformacji jednej lub obydwu zmiennych. Ta własność korelacji jest zazwyczaj przyjmowana za rzecz naturalną, ale wyobraźmy sobie, czym byłaby analiza danych, gdybyśmy nie dysponowali statystykami, które pozostają niezmiennicze w stosunku do skal, w których wyrażono zmienne. Pewne zastanowienie się nad tym problemem powinno nas przekonać o tym, że bez teorii niezmienników algebraicznych rozwój niektórych użytecznych technik statystycznych byłby prawie niemożliwy.

Rozwój modelu regresji liniowej pod koniec XIX wieku oraz metod korelacji nieco później stanowi bezpośredni rezultat teorii niezmienników algebraicznych. Z kolei metody regresji i korelacji stanowiły podstawę dla rozwoju ogólnego modelu liniowego. Ogólny model liniowy może być rzeczywiście traktowany jako rozszerzenie liniowej regresji wielorakiej dla pojedynczej zmiennej zależnej . Zrozumienie idei modelu regresji wielorakiej stanowi podstawę do zrozumienia ogólnego modelu liniowego, dlatego też przypomnimy cel regresji wielorakiej, algorytmy obliczeniowe stosowane do rozwiązywania zagadnień związanych z regresją oraz podamy sposób rozszerzenia modelu regresji na przypadek ogólnego modelu liniowego. Podstawowe wprowadzenie do metod regresji wielorakiej oraz omówienie zagadnień analitycznych, w których znajdują one zastosowanie, zamieszczono także w rozdziale Regresja wieloraka .

Indeks

Cele regresji wielorakiej

Ogólny model liniowy może być traktowany jako rozszerzenie liniowej regresji wielorakiej dla pojedynczej zmiennej zależnej . Zrozumienie idei modelu regresji wielorakiej stanowi podstawę do zrozumienia ogólnego modelu liniowego. Ogólnym celem regresji wielorakiej (termin ten został po raz pierwszy użyty przez Pearsona w 1908 roku) jest ilościowe ujęcie związków pomiędzy wieloma zmiennymi niezależnymi (objaśniającymi) a zmienną zależną (kryterialną, objaśnianą). Szczegółowe wprowadzenie do zagadnienia regresji wielorakiej można znaleźć w rozdziale Regresja wieloraka . Na przykład pośrednik w handlu nieruchomościami (agent) zbiera dane dotyczące budynków - wielkość (w m2), liczba sypialni, średni dochód mieszkańców dzielnicy oraz subiektywna ocena atrakcyjności obiektu. Jeśli dysponuje już jakąś bazą danych tego typu, to może pokusić się o odpowiedź na następujące pytanie: Jak poszczególne wielkości wpływają na cenę budynku? Można w ten sposób na przykład dowiedzieć się, że liczba sypialni w lepszy sposób objaśnia cenę budynku niż na przykład to, jak ładny wydaje się on na podstawie oceny na oko (subiektywna atrakcyjność). Można też odkryć obiekty odstające, to znaczy budynki, które mają większą wartość niż wynika to z danych zebranych przez agenta.

Analitycy - specjaliści od zarządzania personelem używają zazwyczaj regresji wielorakiej do oceny wysokości wynagrodzenia. Można w tym celu określić pewną liczbę czynników, takich jak np. "zakres odpowiedzialności" (Odp) i "liczbę podwładnych" (L_podw), co do których można przypuszczać, że od nich zależy wartość pracy. Specjalista od zarządzania personelem przeprowadza następnie wywiad w podobnych przedsiębiorstwach, gdzie zapisuje wysokość wynagrodzenia i odpowiadające jej charakterystyki dla różnych stanowisk pracy. Taka informacja może być następnie użyta do utworzenia równania regresji wielorakiej w postaci (postać przykładowa):

Wynagr = .5*Odp + .8*L_podw

Dysponując takim równaniem, analityk może teraz z łatwością skonstruować wykres zarobków przewidywanych na podstawie tego równania, w zależności od zarobków na odpowiednich stanowiskach w badanym zakładzie pracy. Na wykresie takim łatwo zauważyć, które stanowiska pracy są niedowartościowane (punkty będą leżeć poniżej linii regresji), które przewartościowane (powyżej linii regresji), a które wynagradzane zgodnie z występującą tendencją.

W naukach społecznych i przyrodniczych analiza regresji wielorakiej jest szeroko stosowana jako narzędzie badawcze. Mówiąc ogólnie, regresja wieloraka pozwala badaczowi odpowiedzieć na pytanie: "Jakie wielkości w najlepszy sposób opisują ...." W badaniach pedagogicznych można na przykład postawić pytanie: Jakie cechy najlepiej opisują (pozwolą najdokładniej przewidzieć) sukces w szkole średniej? Psycholog może postawić pytanie: Jaka cecha osobowości najlepiej określa predyspozycje przystosowania społecznego? Socjologowie mogą z kolei chcieć wiedzieć, który z wielu wskaźników społecznych najlepiej nadaje się do postawienia prognozy na temat zdolności adaptacyjnej nowej grupy imigrantów?

Indeks

Obliczenia stosowane przy rozwiązywaniu równania regresji wielorakiej

Przestrzeń jednowymiarowa (czyli krzywa) zanurzona w przestrzeni dwuwymiarowej (lub w przestrzeni dwóch zmiennych) jest linią definiowaną przez równanie Y = b0 + b1X. Zgodnie z tym równaniem wartość zmiennej Y może być obliczona jako stała (b0) plus współczynnik kierunkowy (b1) razy zmienna X. Stała w tym równaniu bywa także nazywana wyrazem wolnym, a współczynnik kierunkowy (nachylenie) współczynnikiem regresji. Na przykład Średnia ocen (ŚO) może być obliczana jako 1+0,02*IQ. W ten sposób, znając iloraz inteligencji (IQ) ucznia: IQ=130, przewidujemy jego średnią ocenę ŚO=3,6 (ponieważ 1+0,02*130=3,6). W przypadku regresji wielorakiej , kiedy mamy do czynienia z więcej niż jedną zmienną niezależną, płaszczyzna regresji nie może być zazwyczaj przedstawiona graficznie w przestrzeni dwuwymiarowej, ale obliczenia są prostym rozwinięciem obliczeń występujących w przypadku jednej zmiennej objaśniającej (predyktora). Na przykład, jeśli oprócz IQ mamy jeszcze inne predyktory osiągnięć (np. Motywację, Dyscyplinę wewnętrzną), moglibyśmy zbudować równanie liniowe zawierające te wszystkie zmienne. W ogólności procedury regresji wielorakiej służą do estymacji równania liniowego o postaci:

Y = b0 + b1X1 + b2X2 + ... + bkXk

gdzie k oznacza liczbę predyktorów (zmiennych objaśniających). Zauważmy, że w równaniu tym współczynniki regresji (inaczej współczynniki b1 ... bk) reprezentują niezależny wkład każdej ze zmiennych niezależnych w przewidywanie wartości zmiennej zależnej . Innym sposobem wyrażenia tego faktu jest następujące sformułowanie: zmienna X1 jest skorelowana ze zmienną Y po uwzględnieniu wpływu wszystkich pozostałych zmiennych niezależnych . Taki rodzaj korelacji nazywamy korelacją cząstkową (termin ten został po raz pierwszy użyty przez Yule'a w 1907 roku). Objaśnijmy to na przykładzie. Gdyby przeprowadzić odpowiednie badania, to prawdopodobnie otrzymalibyśmy istotną ujemną korelację pomiędzy długością włosów a wzrostem w populacji (tzn. im niższy osobnik tym ma dłuższe włosy). Na pierwszy rzut oka wydaje się to dziwne. Jednakże gdybyśmy dodali do równania regresji wielorakiej nową zmienną niezależną Płeć, to ta korelacja prawdopodobnie by zniknęła. Stałoby się tak dlatego, że kobiety, średnio rzecz biorąc, mają dłuższe włosy niż mężczyźni oraz są średnio niższe od mężczyzn. W ten sposób, jeśli wyeliminujemy różnicę płci przez wprowadzenie do równania zmiennej Płeć, to związek między długością włosów a wzrostem zniknie, ponieważ długość włosów nie będzie miała nic więcej do wniesienia do prognozy wzrostu ponad to, co wniosła do niego zmienna Płeć. Mówiąc inaczej, po uwzględnieniu zmiennej Płeć korelacja cząstkowa pomiędzy wzrostem a długością włosów staje się równa zeru.

Powierzchnia regresji (linia w przypadku regresji prostej, płaszczyzna lub powierzchnia o większej liczbie wymiarów w przypadku regresji wielorakiej ) wyraża najlepsze dopasowanie zmiennej zależnej (Y), przy danych wartościach zmiennych niezależnych (X -ów). Jednakże natura rzadko (jeśli w ogóle) bywa przewidywalna doskonale i zazwyczaj mamy do czynienia z odchyleniami punktów pomiarowych od dopasowanej powierzchni regresji. Odchylenie danego punktu od najbliższego odpowiadającego mu punktu na przewidywanej powierzchni regresji (czyli od jego wartości przewidywanej) nosi nazwę wartości resztowej. Ze względu na to, że celem procedur regresji liniowej jest dopasowanie powierzchni będącej liniową funkcją zmiennych X najbliższą zaobserwowanych wartości zmiennej Y, więc wartości resztowe dla obserwowanych punktów mogą zostać wykorzystane do zbudowania kryterium "najlepszego dopasowania". W zagadnieniach regresji obliczana jest powierzchnia, dla której wielkość sumy kwadratów odchyleń punktów obserwowanych od tej powierzchni jest minimalna. Dlatego też ta ogólna procedura jest czasem nazywana estymacją metodą najmniejszych kwadratów (patrz również: estymacja metodą ważonych najmniejszych kwadratów ).

Obliczenia wymagane przy rozwiązywaniu zagadnień regresji mogą zostać przedstawione w sposób zwięzły i wygodny przy użyciu notacji macierzowej. Załóżmy, że mamy n zaobserwowanych wartości Y oraz powiązanych z nimi n zaobserwowanych wartości dla każdej z k różnych zmiennych X. Wówczas Yi, Xik oraz ei oznaczają odpowiednio i-tą obserwację zmiennej Y, i-tą obserwację każdej ze zmiennych X oraz nieznaną i-tą wartość resztową. Przedstawiając to w postaci macierzowej, otrzymujemy zapis:

Model regresji wielorakiej w zapisie macierzowym może zostać wyrażony jako:

Y = Xb + e

gdzie b oznacza wektor kolumnowy zawierający jedynkę (dla wyrazu wolnego) oraz k nieznanych współczynników regresji. Przypomnijmy, że celem regresji wielorakiej jest minimalizacja sumy kwadratów reszt. Współczynniki regresji spełniające to kryterium są znajdywane poprzez rozwiązanie układu równań normalnych:

X'Xb = X'Y

Jeśli zmienne X są liniowo niezależne (tzn. są nieredundantne, dając macierz X'X, która jest macierzą pełnego rzędu), wówczas istnieje jednoznaczne rozwiązanie układu równań normalnych. Przemnożenie obydwu stron zapisu macierzowego dla równań normalnych przez odwrotność wyrażenia X'X daje nam:

(X'X)-1X'Xb = (X'X)-1X'Y

lub

b = (X'X)-1X'Y

Ten ostatni wynik jest zadowalający z punktu widzenia jego prostoty i ogólności. Podaje on rozwiązanie równania regresji, wykorzystując dwie macierze (X i Y) oraz trzy podstawowe operacje macierzowe: (1) transpozycję macierzy, która wymaga zamiany elementów wierszy i kolumn macierzy, (2) mnożenie macierzy, które wymaga znalezienia sumy iloczynów elementów będących kombinacją każdego wiersza i kolumny dwóch odpowiednich (tzn. wymnażanych) macierzy oraz (3) odwrócenie macierzy, które wymaga znalezienia macierzowego odpowiednika odwrotności liczby, tzn. macierzy, która spełnia warunek

A-1AA=A

dla macierzy A.

Upłynęło dużo czasu zanim matematycy i statystycy znaleźli zadowalającą metodę rozwiązywania zagadnienia regresji metodą najmniejszych kwadratów. Ich wysiłki przyniosły jednak dobre rezultaty, gdyż trudno wyobrazić sobie prostsze rozwiązanie.

Co do ogólności modelu regresji wielorakiej , to jego jedyne godne uwagi ograniczenia to: (1) możliwość analizy tylko jednej zmiennej zależnej , (2) niemożność uzyskania rozwiązania dla współczynników regresji w przypadku, gdy zmienne X nie są liniowo niezależne i w związku z tym nie istnieje macierz odwrotna do X'X. Jednakże ograniczenia te można usunąć i w ten sposób model regresji wielorakiej można przekształcić w ogólny model liniowy.

Indeks

Rozszerzenie modelu regresji wielorakiej do ogólnego modelu liniowego

Jedną z różnic pomiędzy ogólnym modelem liniowym a modelem regresji wielorakiej jest liczba zmiennych zależnych , którą możemy poddać analizie. Wektor Y, zawierający n obserwacji pojedynczej zmiennej Y, można zastąpić macierzą Y, zawierającą n obserwacji dla m różnych zmiennych Y. Podobnie wektor b, zawierający współczynniki regresji dla pojedynczej zmiennej Y, może zostać zastąpiony przez macierz b współczynników regresji, zawierającą po jednym wektorze współczynników b dla każdej z m zmiennych zależnych . Zamiana taka daje tzw. wielowymiarowy model regresji, ale należy podkreślić, że zapisy macierzowe w przypadku modelu regresji wielorakiej i modelu regresji wielowymiarowej są takie same, za wyjątkiem liczby kolumn w macierzach Y i b. Metoda otrzymywania rozwiązania dla współczynników b jest także taka sama, tzn. w modelu regresji wielowymiarowej znajdywane jest osobno m różnych zbiorów współczynników regresji dla m różnych zmiennych zależnych .

Ogólny model liniowy wychodzi o krok dalej w stosunku do modelu regresji wielowymiarowej, dopuszczając liniowe transformacje lub liniowe kombinacje wielu zmiennych zależnych . Rozszerzenie to daje ogólnemu modelowi liniowemu ważne zalety w stosunku do modelu regresji wielorakiej oraz tzw. modelu regresji wielowymiarowej. Obydwa te modele są właściwie jednowymiarowe (występuje jedna zmienna zależna ). Jedna z zalet polega na tym, że w sytuacji, gdy wyniki wielu zmiennych zależnych są skorelowane, mogą zostać zastosowane wielowymiarowe testy istotności . Oddzielne jednowymiarowe testy istotności dla skorelowanych zmiennych zależnych nie są niezależne i mogą nie być odpowiednie. Wielowymiarowe testy istotności niezależnych liniowych kombinacji wielu zmiennych zależnych mogą także dać wgląd w to, które wymiary zmiennych objaśnianych są, a które nie są powiązane ze zmiennymi objaśniającymi (predyktorami). Kolejną zaletą jest możliwość analizy efektów dla czynników powtarzanych pomiarów. Układy z powtarzanymi pomiarami tradycyjnie były analizowane za pomocą technik ANOVA. Wykorzystując jednowymiarowe lub wielowymiarowe podejście do analizy układu z powtarzanymi pomiarami w ogólnym modelu liniowym, możemy tworzyć (a następnie sprawdzać istotność) kombinacje liniowe efektów czynników oraz efektów powtarzanych pomiarów (np. różnice reakcji na pomiary przy różnych warunkach; różnych kombinacjach poziomów czynników).

Drugi ważny element odróżniający ogólny model liniowy od modelu regresji wielorakiej to możliwość rozwiązywania równań normalnych w sytuacji, gdy zmienne X nie są liniowo niezależne i nie istnieje odwrotność macierzy X'X. Redundantność zmiennych X może być przypadkowa (np. dwie zmienne o tej samej zawartości zostały użyte w analizie przez przypadek, w małym zbiorze danych może się zdarzyć, że dwie zmienne objaśniające są mocno skorelowane) lub zamierzona (np. w analizie mogą być wykorzystywane zmienne wskaźnikowe z przeciwnymi wartościami, tak jak w przypadku, gdy do reprezentowania zmiennej Płeć wykorzystywane są obydwie zmienne objaśniane Mężczyzna i Kobieta). Znajdowanie zwykłej odwrotności macierzy niepełnego rzędu przypomina zagadnienie dzielenia przez zero w zwykłej arytmetyce. Taka odwrotność nie istnieje, ponieważ dzielenie przez zero jest niedopuszczalne. W ogólnym modelu liniowym zagadnienie to jest rozwiązywane przez zastosowanie w trakcie rozwiązywania równań normalnych uogólnionej odwrotności macierzy X'X. Uogólniona odwrotność (lub uogólniona macierz odwrotna) jest dowolną macierzą spełniającą warunek:

AA-A = A

dla macierzy A.

Uogólniona odwrotność jest wyznaczana jednoznacznie i jest dokładnie taka sama jak zwykła odwrotność, tylko w przypadku, gdy macierz A jest macierzą pełnego rzędu. Uogólniona odwrotność w przypadku macierzy niepełnego rzędu może zostać obliczona przez proste celowe wyzerowanie elementów w redundantnych wierszach i kolumnach macierzy. Przyjmijmy, że macierz X'X zawierająca r nieredundantnych kolumn (jest rzędu r) została podzielona w następujący sposób:

gdzie A11 oznacza podmacierz rzędu r o wymiarach r na r. Wówczas istnieje zwykła odwrotność do A11 a uogólniona odwrotność macierzy X'X ma postać:

gdzie każda macierz 0 (zerowa) jest macierzą zawierającą zera i ma takie same wymiary jak odpowiednia macierz A.

Jednakże w praktyce konkretna odwrotność macierzy X'X wykorzystywanej dla znalezienia rozwiązania równań normalnych jest zazwyczaj wyliczana za pomocą operatora wymiatania (Dempster, 1960). Ten rodzaj uogólnionej odwrotności, nazywany czasem g2-odwrotnością , posiada dwie ważne własności. Pierwszą jest to, że zerowanie elementów w redundantnych wierszach nie jest konieczne. Natomiast druga polega na tym, że nie jest konieczny podział lub zmiana kolejności kolumn macierzy X'X, dzięki czemu macierz może zostać właściwie odwrócona.

Istnieje nieskończenie wiele uogólnionych odwrotności macierzy niepełnego rzędu X'X, co pociąga za sobą nieskończenie wiele rozwiązań równań normalnych. Może to utrudnić zrozumienie istoty związków zmiennych objaśniających (predyktorów) ze zmiennymi zależnymi , ponieważ współczynniki regresji mogą się zmieniać w zależności od konkretnej uogólnionej odwrotności wybranej przy rozwiązywaniu równań normalnych. Nie stanowi to jednak powodu do obaw. Wiele statystyk (wyników) uzyskanych za pomocą uogólnionego modelu liniowego posiada własność niezmienniczości ze względu na wybór uogólnionej macierzy odwrotnej.

Dla zilustrowania jednej z najważniejszych własności niezmienniczości stosowania uogólnionych odwrotności w ogólnym modelu liniowym można wykorzystać prosty przykład. Jeśli w trakcie analizy do reprezentowania zmiennej Płeć zostanie wykorzystana zarówno zmienna objaśniająca Kobieta, jak i Mężczyzna, zawierające dokładnie przeciwstawne wartości, wówczas jest zasadniczo wszystko jedno, którą ze zmiennych objaśniających potraktujemy jako redundantną (np. zmienna Mężczyzna może zostać potraktowana jako redundantna w stosunku do zmiennej Kobieta lub odwrotnie). Bez względu na to, która ze zmiennych objaśniających (predyktorów) jest traktowana jako redundantna, która z uogólnionych odwrotności jest wykorzystywana przy rozwiązywaniu równań normalnych oraz niezależnie od tego, które z wynikowych równań regresji jest wykorzystywane do obliczania przewidywanych wartości zmiennych zależnych , zarówno wartości przewidywane, jak również odpowiednie reszty dla mężczyzn i kobiet pozostają niezmienione. Przy stosowaniu ogólnego modelu liniowego należy pamiętać o tym, że znajdowanie szczegółowego rozwiązania równań normalnych jest przede wszystkim środkiem do zakończenia obliczania odpowiedzi zmiennych zależnych , a nie koniecznością samą w sobie.

Indeks

Model z sigma-ograniczeniami a model przeparametryzowany

W odróżnieniu od modelu regresji wielorakiej , która znajduje zastosowanie w sytuacji, gdy zmienne X są zmiennymi ciągłymi, ogólny model liniowy jest często wykorzystywany do analizy dowolnych układów ANOVA lub MANOVA zawierających predyktory jakościowe (skategoryzowane), dowolne układy ANCOVA lub MANCOVA zawierające zarówno skategoryzowane, jak i ciągłe zmienne objaśniające oraz dowolne układy regresji wielorakiej i wielowymiarowej zawierające zmienne objaśniające ciągłe. Przykładowo: Płeć jest zmienną wyrażoną na skali nominalnej (w obecnych czasach każdy, kto próbuje wyrazić płeć na skali porządkowej, robi to na własną odpowiedzialność). W ogólnym modelu liniowym istnieją dwie podstawowe metody kodowania i analizy zmiennej Płeć za pomocą jednej lub większej liczby zmiennych objaśniających.

Model z sigma-ograniczeniami (sposób kodowania predyktorów jakościowych ). Przy użyciu pierwszej z metod mężczyznom i kobietom można przypisać dwie dowolne, umowne, ale różne wartości pojedynczej zmiennej objaśniającej (predyktora). Otrzymane w efekcie wartości zmiennej objaśniającej będą przedstawiać ujęty ilościowo kontrast pomiędzy mężczyznami i kobietami. Wartości odpowiadające przynależności do grup nie są zazwyczaj wybierane w dowolny sposób, lecz tak, aby ułatwić interpretację wielkości współczynnika regresji powiązanego ze zmienną objaśnianą (predyktorem). W jednej z szeroko wykorzystywanych strategii przypadkom należącym do dwóch grup są przypisywane wartości zmiennej objaśniającej równe 1 i -1, dzięki czemu w przypadku, gdy współczynnik regresji dla zmiennej jest dodatni, wówczas grupa zakodowana w zmiennej objaśniającej przy pomocy 1 będzie miała wyższą przewidywaną wartość (tzn. wyższą wartość średniej grupowej) zmiennej zależnej , a gdy współczynnik regresji jest ujemny, wówczas grupa kodowana jako -1 w obrębie zmiennej objaśniającej będzie miała wyższą przewidywaną wartość zmiennej zależnej . Dodatkowa zaleta tego podejścia polega na tym, że każda z grup jest kodowana za pomocą wartości różniącej się o jeden od zera, co pomaga w interpretacji wielkości różnic wartości przewidywanych pomiędzy grupami, ponieważ współczynniki regresji charakteryzują jednostkową zmianę zmiennej zależnej dla każdej jednostkowej zmiany zmiennej objaśniającej (predyktora). Ta strategia kodowania jest trafnie nazywana parametryzacją z sigma-ograniczeniami ze względu na to, że wartości używane do oznaczenia przynależności do grupy (1 i -1) sumują się do zera.

Zauważmy, że parametryzacja z sigma-ograniczeniami w przypadku predyktora jakościowego (skategoryzowanego) prowadzi zwykle do macierzy X'X, która nie wymaga uogólnionej odwrotności przy rozwiązywaniu równań normalnych. Potencjalnie nadmiarowa informacja, taka jak charakterystyka przynależności do jednej z płci, jest formalnie redukowana do pełnego rzędu poprzez utworzenie kontrastowych zmiennych ilościowych przedstawiających różnice charakterystyk.

Model przeparametryzowany (sposób kodowania predyktorów jakościowych (skategoryzowanych) ).). Druga podstawowa metoda kodowania predyktorów jakościowych polega na zastosowaniu zmiennej wskaźnikowej. W metodzie tej dla każdej grupy identyfikowanej przez predyktor jakościowy (skategoryzowany) stosowana jest oddzielna zmienna objaśniająca. Przykładowo: w obrębie pierwszej zmiennej objaśniającej, identyfikującej przynależność do grupy żeńskiej wg Płci, kobietom można byłoby przypisać kod 1, a mężczyznom kod 0, a następnie w obrębie drugiej zmiennej objaśniającej, identyfikującej przynależność do grupy męskiej wg Płci, mężczyznom można byłoby przypisać kod 1, a kobietom kod 0. Zauważmy, że taka metoda kodowania predyktorów jakościowych (skategoryzowanych) prawie zawsze prowadzi do macierzy X'X o redundantnych kolumnach i w związku z tym wymaga uogólnionej odwrotności przy rozwiązywaniu równań normalnych. Metoda ta jest często nazywana modelem przeparametryzowanym dla przedstawiania predyktorów jakościowych (skategoryzowanych), ponieważ daje w efekcie więcej kolumn w macierzy X'X, niż jest wymaganych do określenia wzajemnych związków predyktorów jakościowych (skategoryzowanych) z odpowiedziami zmiennych zależnych .

Zgodnie ze swoją nazwą ogólny model liniowy może być wykorzystywany do przeprowadzania analizy z predyktorami jakościowymi (skategoryzowanymi), kodowanymi według jednego z omówionych powyżej sposobów.

Indeks

Podsumowanie zagadnień obliczeniowych

Aby zakończyć dyskusję na temat sposobów, za pomocą których ogólny model liniowy może być traktowany jako rozszerzenie i uogólnienie metod regresji, wyraźmy ogólny model liniowy w postaci:

YM = Xb + e

gdzie Y, X, b i e mają takie samo znaczenie, jak w przypadku modelu regresji wielorakiej, a M oznacza macierz o wymiarach m x s zawierającą współczynniki definiujące s liniowych przekształceń zmiennych zależnych . Równania normalne mają postać:

X'Xb = X'YM

a ich rozwiązaniem jest

b = (X'X)-X'YM

Odwrotność macierzy X'X jest uogólnioną odwrotnością w przypadku, gdy macierz X'X zawiera redundantne kolumny.

Metoda ogólnego modelu liniowego wykonuje analizę liniowych kombinacji wielu zmiennych zależnych , analizę w przypadku redundantnych zmiennych objaśniających, analizę przy różnych sposobach kodowania predyktorów jakościowych (skategoryzowanych). Opcje te nie są możliwe do wykonania za pomocą regresji wielorakiej .

Indeks


Rodzaje analiz

Przy pomocy ogólnego modelu liniowego można analizować wiele typów układów doświadczalnych. W rzeczywistości elastyczność ogólnego modelu liniowego umożliwia mu operowanie na tak wielu różnych rodzajach układów, że jest rzeczą bardzo trudną podanie prostej typologii, według której te układy różnią się pomiędzy sobą. Można zasugerować pewne ogólne zasady, tym niemniej należy pamiętać, że dowolny szczegółowy typ układu może stanowić pewne połączenie ("hybrydę"), w tym sensie, że może posiadać pewne kombinacje własności cechujących różne rodzaje układów.

W niniejszym omówieniu będziemy się odwoływać do pojęcia macierzy eksperymentu X, jak również do sposobu kodowania z sigma-ograniczeniami oraz modelu przeparametryzowanego . Wyjaśnienie tych terminów można znaleźć we części zatytułowanej Podstawowe idee: Ogólny model liniowy lub w krótkim fragmencie stanowiącym Podsumowanie zagadnień obliczeniowych .

Omówienie podstaw jednowymiarowych i wielowymiarowych technik ANOVA można także znaleźć w rozdziale ANOVA/MANOVA , a omówienie metod regresji wielorakiej zostało także zamieszczone w rozdziale Regresja wieloraka .

Układy międzygrupowe

Wstęp. Poziomy lub wartości zmiennych objaśniających (predyktorów) uwzględnionych w analizie opisują różnice pomiędzy n obiektami lub n poprawnymi przypadkami, które są analizowane. A zatem mówiąc o analizie układu porównań międzygrupowych (układu międzygrupowego), odwołujemy się do charakteru, liczby i sposobu rozmieszczenia zmiennych objaśniających (predyktorów).

Biorąc pod uwagę charakter lub rodzaj zmiennych objaśniających, układy międzygrupowe zawierające tylko predyktory jakościowe (skategoryzowane) mogą być nazywane układami ANOVA (analizy wariancji), układy międzygrupowe zawierające tylko zmienne objaśniające ciągłe mogą być nazywane układami (modelami) regresji, a układy międzygrupowe zawierające zarówno predyktory jakościowe, jak i ciągłe, mogą być określane terminem układy ANCOVA (analizy kowariancji). Ponadto zmienne objaśniające ciągłe są traktowane tak, jakby miały ustalone wartości, natomiast poziomy zmiennych objaśniających jakościowych mogą posiadać zarówno wartości ustalone, jak i losowe. Układy zawierające czynniki jakościowe losowe są nazywane układami mieszanymi (patrz: rozdział Komponenty wariancyjne i model mieszany ANOVA/ANCOVA ).

Układy międzygrupowe mogą wymagać pojedynczej zmiennej objaśniającej i wówczas są opisywane jako proste (np. regresja prosta) albo zawierają wiele zmiennych objaśniających (np. regresja wieloraka ).

Biorąc pod uwagę sposób rozmieszczenia zmiennych objaśniających (obiektów) w obrębie układu, niektóre układy dotyczą tylko "efektu głównego" lub składników pierwszego rzędu, tak więc wartości różnych zmiennych objaśniających są niezależne i występują tylko w pierwszej potędze (model addytywny). Inne układy międzygrupowe mogą zawierać składniki wyższego rzędu dla zmiennych objaśniających poprzez podniesienie oryginalnych wartości zmiennych objaśniających do potęgi o wykładniku wyższym niż 1 (np. w układach regresji wielomianowej) lub utworzenie iloczynów zawierających różne kombinacje zmiennych objaśniających (tzn. składniki interakcji ). Często występującym sposobem rozmieszczenia czynników w układach ANOVA jest układ czynnikowy kompletny, w przypadku którego w układzie są reprezentowane wszystkie kombinacje poziomów każdego z predyktorów jakościowych (skategoryzowanych). Układy zawierające jedynie wybrane kombinacje poziomów dla każdego z predyktorów jakościowych (skategoryzowanych) są trafnie nazywane układami (planami) czynnikowymi ułamkowymi. Z kolei układy, w których występuje określona hierarchia kombinacji poziomów różnych predyktorów jakościowych (skategoryzowanych) są nazywane układami zagnieżdżonymi .

Te podstawowe różnice dotyczące charakteru, liczby i sposobu rozmieszczenia zmiennych objaśniających można wykorzystać do opisu całej gamy różnych typów układów międzygrupowych. Niektóre z bardziej powszechnych układów międzygrupowych zostaną teraz opisane.

Jednoczynnikowa ANOVA. Układ zawierający pojedynczy predyktor jakościowy (skategoryzowany) jest nazywany układem jednoczynnikowej ANOVA. Przykładowo, badanie wpływu czterech różnych nawozów stosowanych do czterech różnych sadzonek mogłoby zostać przeanalizowane za pomocą jednoczynnikowej ANOVA z czterema poziomami dla czynnika Nawóz.

Weźmy pod uwagę pojedynczy predyktor jakościowy (skategoryzowany) A, zawierający po jednym przypadku w obrębie każdej z trzech kategorii. Stosując sposób kodowania zmiennej A z sigma-ograniczeniami w postaci 2 ilościowych zmiennych zawierających kontrasty, otrzymamy macierz X definiującą układ międzygrupowy

Tak więc wszystkim przypadkom w obrębie grup A1, A2 i A3 przypisano 1 w kolumnie X0 (wyraz wolny), przypadkowi należącemu do grupy A1 przypisano 1 w kolumnie X1 oraz 0 w kolumnie X2, przypadkowi należącemu do grupy A2 przypisano 0 w kolumnie X1 oraz 1 w kolumnie X2, a przypadkowi należącemu do grupy A3 przypisano -1 w kolumnie X1 oraz -1 w kolumnie X2. Oczywiście, dowolne dodatkowe przypadki w obrębie dowolnej z trzech grup zostałyby zakodowane w podobny sposób. Jeśli w grupie A1 występowałby 1 przypadek, w grupie A2 2 przypadki oraz 1 przypadek w grupie A3, wówczas macierz X miałaby postać

gdzie pierwszy indeks dla zmiennej A podaje tę samą liczbę dla przypadków należących do danej grupy. Dla zwięzłości zapisu, liczby powtórzeń, zazwyczaj nie są pokazywane przy opisie macierzy eksperymentu w ANOVA.

Zauważmy, że w przypadku układów jednoczynnikowych, o jednakowych liczbach przypadków w obrębie każdej z grup, kodowanie z sigma-ograniczeniami prowadzi do X1 ... Xk zmiennych, z których każda ma średnią równą 0.

W przypadku wykorzystania do przedstawienia czynnika A modelu przeparametryzowanego otrzymujemy prostą postać macierzy X definiującej układ międzygrupowy:

Te proste przykłady pokazują, że macierz X służy właściwie do dwóch celów. Definiuje ona (1) sposób kodowania poziomów oryginalnych predyktorów, w postaci wykorzystywanych w analizie zmiennych X, jak również (2) charakter, liczbę i sposób rozmieszczenia zmiennych X, tzn. układ międzygrupowy.

ANOVA efektów głównych. Układy ANOVA efektów głównych zawierają oddzielne układy jednoczynnikowej ANOVA dla dwóch lub większej liczby predyktorów jakościowych (skategoryzowanych). Dobrym przykładem układu ANOVA efektów głównych byłaby typowa analiza przeprowadzana w oparciu o plany eliminacyjne , jak to zostało przedstawione w rozdziale Planowanie doświadczeń .

Weźmy pod uwagę dwa predyktory jakościowe A i B, z których każdy ma dwie kategorie. Stosując sposób kodowania zmiennej z sigma-ograniczeniami otrzymamy macierz X definiującą układ międzygrupowy o postaci:

Zauważmy, że przy równych licznościach przypadków w każdej z grup, suma iloczynów mieszanych dla kolumn X1 i X2 wynosi 0. Przykładowo, gdy mamy do czynienia z 1 przypadkiem w każdej z grup, wówczas otrzymujemy: (1*1)+(1*-1)+(-1*1)+(-1*-1)=0. W przypadku modelu przeparametryzowanego otrzymujemy następującą macierz X definiującą układ międzygrupowy:

Porównując obydwa typy kodowania, można zauważyć, że sposób kodowania wykorzystujący model przeparametryzowany wymaga prawie dwa razy więcej wartości do zapisania tej samej informacji niż kodowanie z sigma-ograniczeniami .

ANOVA dla układów czynnikowych. Układy doświadczalne, w których stosowana jest ANOVA dla układów czynnikowych zawierają zmienne X reprezentujące kombinacje poziomów dwóch lub większej liczby predyktorów jakościowych (np. badania dotyczące chłopców i dziewcząt w czterech grupach wiekowych, dające w rezultacie układ 2 (Płeć) x 4 (Grupa wieku)). W szczególności, układy czynnikowe kompletne przedstawiają wszystkie możliwe kombinacje poziomów predyktorów jakościowych . Układ czynnikowy kompletny z dwoma predyktorami jakościowymi A i B, z których każdy zawiera po dwa poziomy, zostałby nazwany układem czynnikowym, kompletnym 2 x 2. Stosując sposób kodowania zmiennej z sigma-ograniczeniami otrzymamy macierz X definiującą ten układ:

Kilka własności powyższej macierzy X zasługuje na komentarz. Zauważmy, że kolumny X1 oraz X2 reprezentują kontrasty dotyczące efektów głównych dla jednej zmiennej (odpowiednio A i B) rozmieszczone względem poziomów drugiej zmiennej. Natomiast kolumna X3 reprezentuje kontrast pomiędzy różnymi kombinacjami poziomów zmiennych A i B. Zauważmy również, że wartości występujące w kolumnie X3 są iloczynami odpowiednich wartości występujących w kolumnach X1 oraz X2. Zmienne które są iloczynem, np. zmienna X3, reprezentują efekty multiplikatywne lub efekty interakcji czynników, dlatego też zmienna X3 będzie traktowana jako reprezentująca dwuczynnikową interakcję czynników A i B. Powiązanie takich zmiennych ze zmienną zależną oznacza interakcyjny wpływ czynników na zmienne zależne , oprócz ich niezależnych wpływów (wyrażonych poprzez efekty główne). Tak więc układy czynnikowe dają więcej informacji na temat związków pomiędzy predyktorami jakościowymi a odpowiedziami zmiennych zależnych , niż ma to miejsce w przypadku odpowiednich układów jednoczynnikowych lub układów efektów głównych.

Jednakże gdy bierzemy pod uwagę wiele czynników, wówczas układy czynnikowe kompletne czasami wymagają więcej danych, niż możemy w sposób rozsądny zebrać w celu przedstawienia wszystkich możliwych kombinacji poziomów czynników i w związku z tym interakcje wyższych rzędów pomiędzy wieloma czynnikami mogą stać się trudne do interpretacji. W przypadku wielu czynników, użyteczną alternatywą w stosunku do układu czynnikowego kompletnego jest układ czynnikowy frakcyjny (ułamkowy). Rozważmy przykładowo układ czynnikowy frakcyjny 2 x 2 x 2 z dwuczynnikowymi interakcjami i z trzema predyktorami jakościowymi (skategoryzowanymi), z których każdy zawiera 2 poziomy. Układ zawierałby efekty główne dla każdej zmiennej oraz wszystkie dwuczynnikowe interakcje pomiędzy trzema zmiennymi, ale nie zawierałby trójczynnikowych interakcji pomiędzy wszystkimi trzema zmiennymi. Wykorzystując model przeparametryzowany można macierz X dla tego układu przedstawić w następującej postaci:

Dwuczynnikowe interakcje są efektami najwyższego stopnia uwzględnionymi w tym układzie. Te typy układów (planów) zostały szczegółowo omówione w rozdziale Planowanie doświadczeń w temacie zatytułowanym 2(k-p) Plany frakcyjne dwuwartościowe .

Układy zagnieżdżone ANOVA. Układy zagnieżdżone są podobne do planów frakcyjnych , ponieważ wszystkie możliwe kombinacje poziomów predyktorów jakościowych (skategoryzowanych) nie są reprezentowane w układzie. Jednakże w przypadku układów zagnieżdżonych pominięte efekty stanowią efekty niższego rzędu. Efekty zagnieżdżone są efektami, w obrębie których zmienne zagnieżdżone nie pojawiają się nigdy jako efekty główne. Przypuśćmy, że w przypadku dwóch zmiennych A i B, zawierających odpowiednio 3 i 2 poziomy, układ zawiera efekt główny dla A oraz efekt B zagnieżdżony w obrębie poziomów zmiennej A. Wykorzystując model przeparametryzowany , możemy macierz X dla tego układu przedstawić w postaci:

Zauważmy, że w przypadku kodowania z sigma-ograniczeniami w macierzy X byłyby tylko 2 kolumny dla czynnika B zagnieżdżonego w obrębie efektu A, zamiast 6 kolumn dla tego efektu w macierzy X w sytuacji, gdybyśmy zastosowali do kodowania model przeparametryzowany (tzn. kolumny od X4 do X9). Metoda kodowania z sigma-ograniczeniami jest zbytnio ograniczona dla układów zagnieżdżonych , dlatego do reprezentowania układów zagnieżdżonych jest stosowany tylko model przeparametryzowany .

Układy zrównoważone. Większość układów porównań międzygrupowych omawianych w tej części może być analizowana w sposób znacznie bardziej efektywny w przypadku, jeśli są to układy zrównoważone, tzn. gdy wszystkie podklasy w danym układzie ANOVA mają równe liczności n, gdy w obrębie układu nie występują brakujące podklasy oraz (w przypadku, gdy występuje zagnieżdżenie czynników) jeśli sposób zagnieżdżenia jest zrównoważony, tzn. występują jednakowe liczby poziomów czynników zagnieżdżonych w obrębie poziomów czynników, w których są one zagnieżdżone . W takim przypadku macierz X'X (gdzie X oznacza macierz eksperymentu) jest macierzą diagonalną i wiele obliczeń wymaganych do podania wyników ANOVA (np. operacja odwracania macierzy ) znacznie się upraszcza.

Regresja prosta. Układy (modele) regresji prostej dotyczą pojedynczego predyktora o charakterze ciągłym. Gdybyśmy mieli 3 przypadki z wartościami zmiennej objaśniającej P wynoszącymi, powiedzmy 7, 4 i 9 i układ zawierałby efekt pierwszego rzędu dla P, wówczas macierz X miałaby postać:

a wprowadzając P za X1 równanie regresji miałoby postać:

Y = b0 + b1P

Jeśli model regresji prostej ma zawierać efekt wyższego rzędu dla P, powiedzmy efekt kwadratowy, wówczas wartości w kolumnie X1 macierzy eksperymentu zostałyby podniesione do potęgi drugiej tzn. do kwadratu

a wprowadzając P2 za X1 równanie regresji miałoby postać:

Y = b0 + b1P2

Metoda kodowania z sigma-ograniczeniami i sposób kodowania wykorzystujący model przeparametryzowany nie mają zastosowania do modeli regresji prostej ani do innych układów zawierających tylko predyktory ciągłe (ponieważ nie występują w nich predyktory jakościowe (skategoryzowane). Wartości dotyczące predyktorów ciągłych są podnoszone do wymaganej potęgi i wykorzystywane jako zmienne X. Nie jest przeprowadzane żadne kodowanie. Dlatego też przy opisie modeli regresji wystarcza prosty opis równania regresji bez wyraźnego opisywania macierzy eksperymentu X.

Regresja wieloraka. Układy regresji wielorakiej są dla predyktorów ciągłych tym, czym układy ANOVA efektów głównych są dla zmiennych będących predyktorami jakościowymi (skategoryzowanymi), tzn. układy regresji wielorakiej zawierają oddzielne układy regresji prostej dla dwóch lub większej liczby predyktorów ciągłych. Równanie regresji dla modelu regresji wielorakiej zawierającej efekty pierwszego stopnia trzech predyktorów o charakterze ciągłym P, Q i R miałoby postać:

Y = b0 + b1P + b2Q + b3R

Regresja czynnikowa. Układy regresji czynnikowej są podobne do układów czynnikowych ANOVA , w których występują kombinacje poziomów czynników występujących w układzie. Jednakże w przypadku układów regresji czynnikowej może występować o wiele więcej takich możliwych kombinacji odrębnych poziomów zmiennych objaśniających (predyktorów) niż przypadków w zbiorze danych. Upraszczając rzecz, modele regresji czynnikowej kompletnej są definiowane jako układy, w których występują wszystkie możliwe iloczyny predyktorów. Przykładowo: model regresji czynnikowej kompletnej dla dwóch zmiennych objaśniających P i Q zawierałby efekty główne P i Q oraz ich dwuczynnikową (P x Q) interakcję , która jest reprezentowana przez iloczyn wyników P i Q dla każdego przypadku. Równanie regresji miałoby postać:

Y = b0 + b1P + b2Q + b3P*Q

Modele regresji czynnikowej mogą mieć charakter frakcyjny, tzn. efekty wyższego rzędu mogą być pomijane w modelu. Model regresji czynnikowej frakcyjnej do drugiego stopnia dla 3 ciągłych predyktorów P, Q i R zawierałby efekt główny oraz wszystkie dwuczynnikowe interakcje pomiędzy predyktorami:

Y = b0 + b1P + b2Q + b3R + b4P*Q + b5P*R + b6Q*R

Regresja wielomianowa. Modele regresji wielomianowej są układami, które zawierają efekty główne oraz efekty wyższego rzędu dla predyktorów ciągłych, ale nie uwzględniają efektów interakcji pomiędzy predyktorami ciągłymi. Przykładowo: model regresji wielomianowej stopnia drugiego dla trzech predyktorów ciągłych P, Q i R zawierałby efekty główne (tzn. efekty pierwszego rzędu) dla P, Q i R oraz ich efekty kwadratowe (tzn. drugiego rzędu), ale bez efektów dwuczynnikowej interakcji oraz bez efektu trójczynnikowej interakcji P x Q x R.

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2

Modele regresji wielomianowej nie muszą zawierać wszystkich efektów do tego samego stopnia dla każdej zmiennej objaśniającej (predyktora). Na przykład efekt główny, kwadratowy i sześcienny mogłyby zostać uwzględnione w modelu dla niektórych efektów, a efekty powyżej czwartego stopnia mogłyby zostać uwzględnione dla pozostałych predyktorów.

Regresja powierzchni odpowiedzi. Modele kwadratowej regresji powierzchni odpowiedzi stanowią typ układu hybrydowego, posiadającego cechy zarówno modeli regresji wielomianowej , jak również modeli regresji czynnikowej . Modele te zawierają wszystkie efekty modeli regresji wielomianowej do stopnia drugiego oraz dodatkowo efekty dwuczynnikowej interakcji zmiennych objaśniających. Równanie regresji dla modelu kwadratowej regresji powierzchni odpowiedzi dla trzech zmiennych objaśniających ciągłych P, Q i R miałoby postać:

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2 + b7P*Q + b8P*R + b9Q*R

Tego rodzaju układy są zazwyczaj wykorzystywane w badaniach stosowanych (np. w doświadczeniach przeprowadzanych w przemyśle). Dokładne omówienie tych typów układów zostało przedstawione w rozdziale Planowanie doświadczeń (patrz Plany centralne kompozycyjne ).

Regresja powierzchni odpowiedzi dla mieszaniny. Modele regresji powierzchni odpowiedzi dla mieszaniny są zupełnie podobne do układów regresji czynnikowej do stopnia drugiego oprócz pominięcia wyrazu wolnego. Mieszaniny, jak sama nazwa sugeruje, sumują się do wartości stałej. Suma proporcji składników różnych receptur dla określonych materiałów musi wynosić 100%. Tak więc proporcja jednego składnika danego tworzywa jest redundantna w stosunku do pozostałych składników. Modele regresji powierzchni odpowiedzi dla mieszaniny postępują z tą redundancją w ten sposób, że usuwają wyraz wolny z modelu. Równanie regresji dla modelu regresji powierzchni odpowiedzi dla mieszaniny przy trzech zmiennych objaśniających ciągłych P, Q i R miałoby postać:

Y = b1P + b2Q + b3R + b4P*Q + b5P*R + b6Q*R

Te rodzaje układów są zazwyczaj stosowane w badaniach stosowanych (np. w doświadczeniach przeprowadzanych w przemyśle). Dokładne omówienie tych typów układów zostało przedstawione w rozdziale Planowanie doświadczeń (patrz Plany dla mieszanin i powierzchnie o podstawie trójkątnej ).

Analiza kowariancji. Układy międzygrupowe, zawierające zarówno predyktory jakościowe, jak i ciągłe, określa się zazwyczaj terminem układy ANCOVA (analizy kowariancji). Jednakże tradycyjnie termin układy ANCOVA odnosił się do układów, w których przy ocenie efektów jednego lub wielu predyktorów jakościowych (skategoryzowanych) bierze się pod uwagę efekty pierwszego rzędu jednego lub wielu predyktorów o charakterze ciągłym. Wprowadzenie do zagadnienia analizy kowariancji można również znaleźć w temacie Analiza kowariancji (ANCOVA) zamieszczonym w rozdziale ANOVA/MANOVA .

Dla przykładu przypuśćmy, że badacz chce ocenić wpływ predyktora jakościowego (skategoryzowanego) zawierającego trzy poziomy na pewien wynik. Dodatkowo wiadomo, że z tymi wynikami związane są także pewne inne pomiary zmiennej ciągłej P (zwanej też zmienną towarzyszącą):

wówczas macierz X z sigma-ograniczeniami dla układu, który zawiera oddzielne efekty pierwszego rzędu zmiennych P i A, miałaby postać:

Współczynniki b2 oraz b3 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3

przedstawiają wpływy przynależności grupowej na zmienną będącą predyktorem jakościowym (skategoryzowanym), przy uwzględnieniu wpływu wyników na zmienną P będącą predyktorem o charakterze ciągłym. Podobnie współczynnik b1 reprezentuje wpływ wyników na P przy uwzględnieniu wpływów przynależności grupowej na A. Ta tradycyjna analiza ANCOVA daje bardziej wrażliwy test wpływu A do stopnia, w jakim P redukuje błąd prognozy, tzn. reszty dla zmiennej wynikowej.

Macierz X dla tego samego układu, ale przy zastosowaniu modelu przeparametryzowanego , miałaby postać:

Interpretacja nie ulega zmianie za wyjątkiem tego, że wpływy przynależności grupowej na zmienną A, będącą predyktorem jakościowym (skategoryzowanym), są reprezentowane w równaniu regresji przez współczynniki b2, b3 oraz b4.

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4

Układy różnych nachyleń. Tradycyjny układ analizy kowariancji (ANCOVA) dla predyktorów jakościowych i ciągłych jest nieodpowiedni w sytuacji, gdy predyktory jakościowe i ciągłe wchodzą w interakcje we wpływie na odpowiedzi zmiennych wynikowych. Odpowiedni układ służący do odzwierciedlenia wpływów predyktorów w tej sytuacji jest nazywany układem różnych nachyleń. Jeśli wykorzystamy ten sam przykład danych, który został użyty do zilustrowania tradycyjnego układu ANCOVA, wówczas przeparametryzowana macierz X dla układu, zawierającego efekt główny predyktora jakościowego A o trzech poziomach oraz dwuczynnikową interakcję P x A miałaby postać:

Współczynniki b4, b5 oraz b6 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5 + b6X6

wyrażają oddzielne współczynniki kierunkowe dla regresji wyników względem P w obrębie każdej z grup na A, uwzględniając efekt główny A.

Podobnie jak w przypadku układów zagnieżdżonych ANOVA, sposób kodowania efektów z sigma-ograniczeniami dla układów o różnych nachyleniach jest zbyt restrykcyjny, stąd też do przedstawiania układów różnych nachyleń jest wykorzystywany tylko model przeparametryzowany . W rzeczywistości układy różnych nachyleń nie różnią się formą od układów zagnieżdżonych ANOVA, ponieważ w przypadku układów różnych nachyleń pomijane są efekty główne dla predyktorów o charakterze ciągłym.

Układy jednakowych nachyleń. Odpowiedni układ wykorzystywany do modelowania wpływów predyktorów jakościowych i ciągłych zależy od tego, czy współdziałają one ze zmienną wynikową (obserwowaną). Tradycyjna analiza kowariancji (ANCOVA) jest niewłaściwa w sytuacji, kiedy predyktory ciągłe i predyktory jakościowe nie współdziałają ze sobą we wpływie na obserwowaną zmienną. Natomiast układ różnych nachyleń jest właściwy wtedy, gdy predyktory ciągłe i predyktory jakościowe współdziałają ze zmienną zależną (obserwowaną). Układy jednakowych nachyleń mogą być wykorzystywane do testowania, czy predyktory jakościowe i ciągłe współdziałają ze zmienną wynikową (obserwowaną), a zatem czy tradycyjny układ ANCOVA lub układ różnych nachyleń jest odpowiedni w przypadku modelowania wpływów efektów. Jeśli wykorzystamy te same dane przykładowe, które użyto do zilustrowania tradycyjnego układu ANCOVA oraz układów różnych nachyleń , wówczas przeparametryzowana macierz X dla układu zawierającego efekt główny P, efekt główny predyktora jakościowego A o trzech poziomach oraz dwuczynnikową interakcję P x A miałaby postać:

Jeśli współczynniki b5, b6 lub b7 występujące w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5 + b6X6 + b7X7

różnią się od zera, wówczas powinno się zastosować model różnych nachyleń. Jeśli natomiast wszystkie trzy współczynniki regresji są równe zero, wtedy należy zastosować tradycyjny układ ANCOVA.

Macierz X w przypadku modelu z sigma-ograniczeniami dla układu jednakowych nachyleń miałaby postać:

Stosując macierz X w przypadku, gdy współczynnik b4 lub b5 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5

różni się od zera, należy wykorzystać model różnych nachyleń. Natomiast kiedy obydwa współczynniki są równe zeru, należy wykorzystać tradycyjne podejście ANCOVA.

Model mieszany ANOVA i ANCOVA. Układy zawierające efekty losowe dla jednego lub większej liczby predyktorów jakościowych są nazywane układami dla modelu mieszanego. Efekty losowe są efektami klasyfikacji, w przypadku których zakłada się, że poziomy efektów zostały wybrane w sposób losowy z nieskończonej populacji możliwych poziomów. Rozwiązanie równań normalnych w przypadku układów dla modelu mieszanego jest identyczne, jak rozwiązanie układów dla modeli o efektach stałych (tzn. układów, które nie zawierają efektów losowych ). Układy dla modeli mieszanych różnią się od układów dla modeli o efektach stałych tylko sposobem testowania istotności efektów. W przypadku układów dla modeli o efektach stałych, efekty międzygrupowe są zawsze testowane przy przyjęciu średniego kwadratu dla reszty jako źródła błędu. Z kolei w przypadku układów dla modeli mieszanych testowanie hipotez o efektach międzygrupowych (obiektowych) oparte jest na innych źródłach współzmienności właściwych dla każdego modelu. W szczególności jest to robione przy zastosowaniu metody Satterthwaite'a łączenia mianownika (Satterthwaite, 1946), która pozwala na znajdowanie liniowej kombinacji składników losowych źródeł zmienności, wykorzystywanej jako źródło błędu do testowania istotności odpowiednich efektów, będących przedmiotem zainteresowania. Podstawowe omówienie układów tego typu oraz metod estymacji komponentów wariancyjnych dla efektów losowych można również znaleźć w rozdziale Komponenty wariancyjne i model mieszany ANOVA/ANCOVA .

Układy dla modelu mieszanego, np. układy zagnieżdżone i układy różnych nachyleń, są układami, w przypadku których kodowanie z sigma-ograniczeniami predyktorów jakościowych jest zbyt ograniczone. Układy dla modelu mieszanego wymagają estymacji kowariancji pomiędzy poziomami predyktorów jakościowych , natomiast kodowanie z sigma-ograniczeniami predyktorów jakościowych usuwa tę kowariancję. Tak więc tylko model przeparametryzowany jest wykorzystywany do reprezentowania układów dla modelu mieszanego (niektóre programy w przypadku efektów o charakterze losowym wykorzystują podejście z sigma-ograniczeniami oraz tzw. "model ograniczony", jednakże jedynie model przeparametryzowany , tak jak to zostało opisane w rozdziale Ogólne modele liniowe , ma zastosowanie zarówno w przypadku układów zrównoważonych i niezrównoważonych, jak również w przypadku układów z brakującymi podklasami; patrz: Searle, Casella i McCullock, 1992, str. 127). Jest jednak rzeczą ważną, aby rozróżniać fakt, że kodowanie z sigma-ograniczeniami może być stosowane do reprezentowania dowolnego układu międzygrupowego, oprócz układów dla modeli mieszanych, układów zagnieżdżonych oraz układów różnych nachyleń. Ponadto, niektóre rodzaje hipotez mogą być testowane tylko przy użyciu kodowania z sigma-ograniczeniami (tzn. hipotezy efektywne, Hocking, 1996), a zatem większa ogólność modelu przeparametryzowanego przy reprezentowaniu układów międzygrupowych nie usprawiedliwia jego wyłącznego stosowania przy reprezentowaniu predyktorów jakościowych w ogólnym modelu liniowym.

Indeks

Układy z powtarzanymi pomiarami

Wprowadzenie. W rzeczywistych badaniach bardzo często zachodzi potrzeba zastosowania tego samego testu w stosunku do tych samych obiektów po upływie określonego czasu lub w innych warunkach doświadczalnych. Badacz może być zainteresowany oceną różnic zachodzących w badanym obiekcie, na przykład rozwojem obiektu w czasie. Układy tego typu są nazywane układami z powtarzanymi pomiarami. Wprowadzenie do układów z powtarzanymi pomiarami znajduje się w części Układy międzygrupowe i układy z powtarzanymi pomiarami w rozdziale ANOVA/MANOVA .

Przypuśćmy, że chcemy zbadać postępy studentów w zakresie ich umiejętności z algebry. Pierwszy test przeprowadzamy po miesiącu (pierwszy poziom czynnika powtarzalnych pomiarów), a drugi, porównywalny test przeprowadzany jest po dwóch miesiącach (drugi poziom czynnika powtarzalnych pomiarów). Stąd, czynnik powtarzanych pomiarów (Czas) ma dwa poziomy.

Przypuśćmy teraz, że wyniki dla dwóch testów z algebry (tzn. wartości zmiennych Y1 i Y2 odpowiednio w momencie Czas1 i Czas2) zostały przekształcone na wyniki nowej złożonej zmiennej (tzn. na wartości T1) za pomocą przekształcenia liniowego o postaci

T = YM

gdzie M oznacza ortonormalną macierz kontrastów. W szczególności jeśli

wówczas różnica średniego wyniku T1 w stosunku do zera oznacza poprawę (lub pogorszenie) wyników w okresie pomiędzy dwoma momentami Czasu.

Układy jednoczynnikowe z powtarzanymi pomiarami. Przykład dotyczący badania umiejętności matematycznych z czynnikiem powtarzanych pomiarów Czas (patrz także: Wprowadzenie do układów z powtarzanymi pomiarami ) stanowi ilustrację układu jednoczynnikowego z powtarzanymi pomiarami. W przypadku układów tego typu ortonormalne transformacje kontrastów wyników dotyczących oryginalnych zmiennych Y są przeprowadzane przy zastosowaniu transformacji M (transformacje ortonormalne odpowiadają rotacjom ortogonalnym osi wyznaczonych przez oryginalne zmienne). Jeśli którykolwiek ze współczynników b0 występujących w równaniu regresji przekształconej zmiennej T wyrazu wolnego różni się od zera, oznacza to zmianę wyników w obrębie poziomów czynnika powtarzanych pomiarów, tj. obecność efektu głównego dla czynnika powtarzanych pomiarów względem odpowiedzi.

Co się dzieje w sytuacji, gdy układ międzygrupowy zawiera efekty inne niż wyraz wolny? Jeśli jeden ze współczynników b1, ..., bk występujących w równaniu regresji przekształconej zmiennej T różni się od zera, oznacza to inną zmianę zmiennej zależnej w obrębie poziomów czynnika powtarzanych pomiarów dla różnych poziomów odpowiedniego efektu międzygrupowego, tzn. występowanie efektu interakcji czynnika powtarzanych pomiarów i czynnika międzygrupowego w odniesieniu do zmiennej zależnej.

Te same efekty międzygrupowe, które mogą być testowane w przypadku układów nie zawierających czynnika powtarzanych pomiarów, mogą być również testowane w przypadku układów, które zawierają czynniki powtarzanych pomiarów. Jest to osiągane poprzez utworzenie przekształconej zmiennej zależnej , będącej sumą wartości oryginalnych zmiennych zależnych podzieloną przez pierwiastek kwadratowy liczby oryginalnych zmiennych zależnych . Te same testy efektów międzygrupowych, które są przeprowadzane w przypadku układów nie zawierających czynników powtarzanych pomiarów (łącznie z testami dotyczącymi wyrazu wolnego w układzie międzygrupowym), są przeprowadzane na tej przekształconej zmiennej zależnej .

Układy wieloczynnikowe z powtarzanymi pomiarami. Przypuśćmy, że w przykładzie dotyczącym badania umiejętności matematycznych z czynnikiem powtarzanych pomiarów Czas (patrz: Wprowadzenie do układów z powtarzanymi pomiarami ) przeprowadzono test z udziałem studentów polegający na wykonaniu zadania rachunkowego, a następnie test polegający na rozwiązaniu zadania z treścią w każdej z sytuacji testowych. Następnie Test mógłby zostać potraktowany jako drugi czynnik powtarzanych pomiarów, z wynikami testu polegającego na wykonaniu zadania rachunkowego reprezentującymi wartości zmiennych zależnych na poziomie 1 czynnika powtarzanych pomiarów oraz wynikami testu polegającego na rozwiązaniu zadania z treścią reprezentującymi wartości zmiennych zależnych na poziomie 2 czynnika powtarzanych pomiarów Test. Układ z powtarzanymi pomiarami w przypadku tego badania można byłoby określić jako układ czynnikowy 2 (Czas) x 2 (Test), z efektami dla czynnika Czas, Test oraz z interakcją czynnika Czas x Test.

W celu utworzenia przekształconych zmiennych zależnych reprezentujących efekt czynnika Czas, Test oraz interakcji czynnika Czas x Test przeprowadzane są trzy stosowne transformacje M oryginalnych zmiennych zależnych Y. Zakładając, że oryginalne zmienne Y występują w kolejności Czas 1 - Test 1, Czas 1 - Test 2, Czas 2 - Test 1 oraz Czas 2 - Test 2, macierze M dla czynnika Czas, Test oraz interakcji czynnika Czas x Test mogłyby mieć postać:

Różnice średnich wyników przekształconych zmiennych T w stosunku do zera są następnie wykorzystywane do interpretacji odpowiednich efektów powtarzanych pomiarów. Jeśli współczynnik regresji b0 występujący w równaniu regresji przekształconej zmiennej T wyrażającej wyraz wolny różni się od zera, wówczas oznacza to zmianę wyników w obrębie poziomów efektu powtarzanych pomiarów, tzn. występowanie odpowiedniego efektu głównego lub efektu interakcji wyników dla czynników powtarzanych pomiarów.

Interpretacja efektów interakcji czynników powtarzanych pomiarów i czynników międzygrupowych polega na wykorzystaniu takich samych procedur jak w przypadku układów jednoczynnikowych z powtarzanymi pomiarami. Jedyna różnica polega na tym, że interakcja czynników powtarzanych pomiarów i czynników międzygrupowych jest badana dla każdej kombinacji efektu powtarzanych pomiarów i efektu międzygrupowego.

Podejście wielowymiarowe do zagadnienia powtarzanych pomiarów. Jeśli czynnik powtarzanych pomiarów posiada więcej niż dwa poziomy, wówczas macierz M będzie zawierała więcej niż jedną pojedynczą kolumnę. Na przykład dla czynnika powtarzanych pomiarów z trzema poziomami (np. Czas 1, Czas 2, Czas 3) macierz M składa się z dwóch kolumn (np. dwie transformacje zmiennych zależnych mogłyby mieć postać (1) połączone zmienne Czas 1 x Czas 2 i zmienna Czas 3 oraz (2) Czas 2 x Czas 3). Wskutek tego natura układu jest rzeczywiście wielowymiarowa, tzn. występują dwie jednoczesne zmienne zależne , będące przekształceniami oryginalnych zmiennych zależnych . Tak więc przy testowaniu efektów powtarzanych pomiarów wymagających więcej niż jednego stopnia swobody (np. efekt główny czynnika powtarzanych pomiarów w przypadku więcej niż 2 poziomów) istnieje możliwość obliczenia statystyk testu wielowymiarowego służących do testowania odpowiednich hipotez. Jest to inne (zazwyczaj bardziej preferowane) podejście w stosunku do metody opierającej się na podejściu jednowymiarowym, która jest nadal szeroko wykorzystywana. Dalsze omówienie podejścia wielowymiarowego do testowania efektów powtarzanych pomiarów, jak również porównanie do tradycyjnie stosowanego podejścia jednowymiarowego można znaleźć w temacie Sferyczność i symetria połączona zawartym w rozdziale ANOVA/MANOVA .

Układy podwójnie wielowymiarowe z powtarzanymi pomiarami. W przypadku gdy iloczyn liczby poziomów dla każdego czynnika powtarzanych pomiarów jest równy liczbie oryginalnych zmiennych zależnych , taki układ jest nazywany układem jednoczynnikowym z powtarzanymi pomiarami. Układ z powtarzanymi pomiarami jest układem jednowymiarowym ze względu na występowanie jednej zmiennej zależnej reprezentującej każdą z kombinacji poziomów czynników powtarzanych pomiarów. Zauważmy, że to użycie terminu układ jednowymiarowy nie powinno być mylone z jednowymiarowym i wielowymiarowym podejściem do analizy układów z powtarzanymi pomiarami , z których obydwa mogą być stosowane do analizy takich jednowymiarowych (tylko z jedną zmienną zależną) układów. W sytuacji występowania dwóch lub większej liczby zmiennych zależnych dla każdej kombinacji poziomów czynników powtarzanych pomiarów odpowiedni układ jest nazywany wielowymiarowym układem z powtarzanymi pomiarami. Termin ten jest stosowany ze względu na fakt, iż analiza dla każdego pomiaru zależnego może zostać przeprowadzona poprzez zastosowanie podejścia wielowymiarowego. A zatem w przypadku występowania więcej niż jednego pomiaru zależnego, odpowiedni układ może zostać potraktowany jako podwójnie wielowymiarowy.

Układy podwójnie wielowymiarowe są analizowane z użyciem kombinacji jednowymiarowych pomiarów powtarzanych oraz technik analizy wielowymiarowej. Dla przykładu załóżmy, że w przykładzie badania umiejętności matematycznych testy zostały przeprowadzone trzy razy (czynnik powtarzanych pomiarów Czas z 3 poziomami). Dla każdego poziomu czynnika Czas są zapisywane dwa wyniki testu: wynik testu polegającego na wykonaniu zadania rachunkowego oraz wynik testu polegającego na rozwiązaniu zadania z treścią. A zatem wyniki tych dwóch rodzajów testów powinny zostać potraktowane jako wielokrotne pomiary, na podstawie których można byłoby ocenić poprawę (lub pogorszenie) wyników względem czynnika Czas. Dla każdego zbioru pomiarów testowych powinny zostać obliczone zmienne po przekształceniu M, a w odniesieniu do wielokrotnych przekształconych pomiarów, jak również w odniesieniu do każdego pojedynczego pomiaru testowego powinny zostać przeprowadzone wielowymiarowe testy istotności.

Układy wielowymiarowe

Przegląd. Jeśli w danym układzie występuje wiele zmiennych zależnych , wówczas mówi się, że układ jest wielowymiarowy. Wielowymiarowe miary powiązania są, z natury bardziej złożone niż ich jednowymiarowe odpowiedniki (takie jak np. współczynnik korelacji). Przyczyna tkwi w tym, że wielowymiarowe miary muszą brać pod uwagę nie tylko wzajemne relacje zmiennych objaśniających (predyktorów) z odpowiedziami zmiennych zależnych ale także wzajemne relacje między zmiennymi zależnymi . Jednakże, dzięki temu, miary te dostarczają informacji na temat siły wzajemnych związków pomiędzy predyktorami, a zmiennymi zależnymi niezależnie od powiązań występujących w obrębie zmiennych zależnych . Elementarne omówienie układów wielowymiarowych zostało także przedstawione w temacie Układy wielowymiarowe , zawartym w rozdziale ANOVA/MANOVA .

Wszystkie najczęściej stosowane, wielowymiarowe miary powiązania mogą zostać wyrażone w postaci pewnych funkcji wartości własnych iloczynu macierzy

E-1H

gdzie E oznacza macierz SSCP dla błędu (tzn. macierz zawierającą sumy kwadratów i iloczyny mieszane dla zmiennych zależnych , które nie są wyjaśniane przez zmienne objaśniające [predyktory] w układzie międzygrupowym) a H jest macierzą SSCP dla hipotezy (tzn. macierzą zawierającą sumy kwadratów i iloczyny mieszane dla zmiennych zależnych , które są wyjaśniane przez wszystkie zmienne objaśniające [predyktory] w układzie międzygrupowym lub sumy kwadratów i iloczyny mieszane dla zmiennych zależnych , które są wyjaśniane przez określony efekt).

Niech

li oznacza wartości własne macierzy E-1H, jeśli istnieje macierz E-1

wówczas 4 najczęściej stosowane wielowymiarowe miary powiązania to:

Lambda Wilksa = P[1/(1+li)]

Ślad Pillai'a = Sli/(1+li)

Ślad Hotellinga-Lawley'a = Sli

Największy pierwiastek Roy'a = l1

Te cztery miary mają różne górne i dolne ograniczenia, przy czym statystyka lambda Wilksa jest prawdopodobnie najłatwiejsza do interpretacji spośród nich. Przyjmuje ona wartość z przedziału od 0 do 1, gdzie 1 oznacza brak związku zmiennych objaśniających (predyktorów) ze zmiennymi objaśnianymi (odpowiedziami), a 0 świadczy o występowaniu doskonałego związku pomiędzy zmiennymi objaśniającymi a zmiennymi objaśnianymi. Wielkość 1 - lambda Wilksa może być interpretowana jako wielowymiarowy odpowiednik jednowymiarowego R-kwadrat, tzn. oznacza odsetek uogólnionej wariancji zmiennych zależnych wyjaśnianej przez zmienne objaśniające.

Te 4 miary powiązania są również wykorzystywane do konstruowania wielowymiarowych testów istotności. Testy te zostały szczegółowo opisane w wielu źródłach (np. Finn, 1974; Tatsuoka, 1971).

Indeks


Estymacja i testowanie hipotez

Poniższe tematy zawierają omówienie szczegółów dotyczących testowania hipotez w module GLM programu STATISTICA, np. sposobu obliczania testu adekwatności pełnego modelu, opcji przeznaczonych do obliczania testów dla efektów typu jakościowego w przypadku układów niezrównoważonych lub niekompletnych, sposób i warunki, w których należy wybierać dostosowane źródła błędu oraz podstawy logiczne testowania hipotez określonych przez użytkownika w układach czynnikowych lub regresyjnych.

Testowanie adekwatności pełnego modelu

Podział sum kwadratów. Fundamentalną podstawą metody najmniejszych kwadratów jest możliwość podziału całkowitej zmienności zmiennej zależnej na części, odzwierciedlające źródła tej zmienności. Przypuśćmy, że zmienna zależna występuje w funkcji regresji względem jednej lub wielu zmiennych objaśniających (predyktorów) oraz, że dla wygody zmienna zależna została wyskalowana tak, aby średnia wynosiła 0. Wówczas podstawowa tożsamość dotycząca najmniejszych kwadratów mówi, że całkowita suma kwadratów wartości zmiennej zależnej jest równa sumie kwadratów wartości przewidywanych plus suma kwadratów wartości resztowych. Wyrażając to w sposób bardziej ogólny, można zapisać:

S(y - y-kreska)2 = S(y-daszek - y-kreska)2 + S(y - y-daszek)2

gdzie wyrażenie występujące z lewej strony jest całkowitą sumą kwadratów odchyleń wartości obserwowanych zmiennej zależnej od średniej dla zmiennej zależnej , a odpowiednie wyrażenia po prawej stronie znaku równości to (1) suma kwadratów odchyleń wartości przewidywanych zmiennej zależnej od średniej dla zmiennej zależnej oraz (2) suma kwadratów odchyleń wartości obserwowanych zmiennej zależnej od wartości przewidywanych, tzn. suma kwadratów reszt. Można to inaczej zapisać w sposób podany poniżej:

Całkowita SS = SS modelu + SS błędu

Zauważmy, że całkowita suma kwadratów (Całkowita SS) jest zawsze taka sama dla dowolnego zbioru danych, natomiast suma kwadratów dla modelu (SS modelu) oraz suma kwadratów dla błędu (SS błędu) zależy od postaci równania regresji. Przyjmując ponownie, że zmienna zależna została wyskalowana w taki sposób, że jej średnia wynosi 0, istnieje możliwość wyliczenia sum kwadratów dla modelu (SS modelu) oraz sum kwadratów dla błędu (SS błędu) na podstawie poniższych wzorów:

SS modelu = b'X'Y

SS błędu = Y'Y - b'X'Y

Testowanie adekwatności pełnego modelu. Mając sumy kwadratów dla modelu (SS modelu) oraz sumy kwadratów dla błędu (SS błędu), można przeprowadzić testowanie hipotezy, że wszystkie współczynniki regresji dla zmiennych ze zbioru X (od b1 do bk) są równe zero. Test ten jest równoważny porównaniu dopasowania powierzchni regresji określonej przez wartości przewidywane (obliczone na podstawie równania pełnego modelu regresji) z dopasowaniem powierzchni regresji określonej jedynie w oparciu o średnią zmiennej zależnej (wyliczoną na podstawie zredukowanego równania regresji zawierającego tylko wyraz wolny). Jeśli założymy, że macierz X'X jest macierzą pełnego rzędu, wówczas średni kwadrat dla hipotezy w przypadku pełnego modelu:

MSH = (SS modelu)/k

jest oceną wariancji wartości przewidywanych. Natomiast średni kwadrat dla błędu:

s2 = MSE = (SS błędu)/(n-k-1)

jest nieobciążoną oceną wariancji reszt lub błędu. Statystyka testu ma postać:

F = MSH/MSE

gdzie liczba stopni swobody statystyki F jest określona jako (k, n - k - 1).

Jeśli macierz X'X jest macierzą niepełnego rzędu, wówczas k jest zastępowane przez r + 1, gdzie r oznacza rząd lub liczbę nieredundantnych kolumn macierzy X'X.

Zauważmy, że w przypadku modeli bez wyrazu wolnego, niektóre z programów przeznaczonych do regresji wielorakiej obliczają test adekwatności dla pełnego modelu w oparciu o odsetek wariancji wokół 0 (zera) wyjaśnianej przez zmienne objaśniające (predyktory); więcej informacji na ten temat można znaleźć w pozycjach: Kvalseth, 1985; Okunade, Chang i Evans, 1993. Tymczasem inne programy faktycznie wyliczają obydwie wartości (tzn. opierając się na wariancji resztowej wokół zera oraz wokół odpowiednich średnich zmiennej zależnej ).

Ograniczenia testów adekwatności pełnego modelu. W przypadku układów takich jak jednoczynnikowa ANOVA czy model regresji prostej test adekwatności pełnego modelu może być już sam w sobie wystarczający do testowania ogólnych hipotez dotyczących tego, czy pojedyncza zmienna objaśniająca jest powiązana ze zmienną objaśnianą. Jednak w przypadku układów bardziej złożonych bardziej interesujące są hipotezy dotyczące określonych zmiennych ze zbioru X lub pewnego ich podzbioru. Przykładowo: moglibyśmy być zainteresowani przeprowadzeniem wnioskowania na temat hipotezy mówiącej o tym, że wartości pewnego podzbioru współczynników regresji wynoszą 0 (zero) lub że występuje zróżnicowanie średnich pewnych podpopulacji odpowiadających kombinacjom określonych zmiennych ze zbioru X. Test adekwatności pełnego modelu jest zazwyczaj niewystarczający dla tych celów.

Do testowania szczegółowych hipotez rozwinięto wiele różnorodnych metod. Podobnie jak w przypadku testu adekwatności pełnego modelu, wiele z tych metod polega na porównaniach dopasowania różnych modeli (np. sumy kwadratów Typu I , Typu II oraz sumy kwadratów dla hipotez efektywnych). Dla innych metod konstruuje się testy liniowych kombinacji współczynników regresji w celu testowania różnic średnich (np. sumy kwadratów Typu III , Typu IV i Typu V ). W przypadku układów zawierających tylko efekty pierwszego rzędu dla zmiennych objaśniających ciągłych (tzn. modele regresji wielorakiej ) wiele z tych metod jest równoważnych (tzn. wszystkie sumy kwadratów od Typu II do Typu V testują istotność cząstkowych współczynników regresji). Jednakże istnieją ważne różnice pomiędzy różnymi technikami testowania hipotez dla określonych typów układów ANOVA (tzn. układów o nierównych licznościach wewnątrz podklas lub układów z podklasami o brakujących danych).

Jednakże wszystkie metody służące do testowania hipotez oparte są na takiej samej strategii testowania hipotez jak w przypadku testów adekwatności pełnego modelu. Mianowicie, test oparty jest na ilorazie średniego kwadratu dla obiektów (reprezentowanych przez parametry w modelu) przez średni kwadrat dla błędu.

Indeks

Sześć typów sum kwadratów

W przypadku, gdy w modelu występują predyktory jakościowe rozmieszczone w układzie czynnikowym ANOVA , wówczas badacza interesują zazwyczaj efekty główne i efekty interakcji występujące pomiędzy predyktorami jakościowymi . Jednakże w przypadku, gdy mamy do czynienia z układem niezrównoważonym (tzn. takim, w obrębie którego występują nierówne liczności wewnątrz podklas i w konsekwencji zakodowane efekty dla czynników skategoryzowanych są zazwyczaj skorelowane) lub gdy w kompletnym układzie czynnikowym ANOVA występują podklasy o brakujących danych, wówczas mamy do czynienia z niejasnością odnoszącą się do szczegółowych porównań pomiędzy średnimi podklas (oczekiwanymi średnimi brzegowymi lub średnimi brzegowymi populacyjnymi), które tworzą, będące przedmiotem zainteresowania efekty główne i efekty interakcji. Zagadnienia te zostały szczegółowo omówione w książce Millikena i Johnsona (1984) i w przypadku, gdy badacz najczęściej zajmuje się analizą układów czynnikowych niekompletnych, powinien sięgnąć do tej pozycji, gdyż zawiera ona różne zagadnienia i podejścia stosowane do rozwiązywania tego typu problemów.

Oprócz szeroko rozpowszechnionych metod nazwanych Sumami kwadratów Typu I, II, III oraz IV, możemy dodatkowo zaoferować takie metody testowania efektów w przypadku układów niekompletnych, które są szeroko wykorzystywane w innych obszarach (i tradycjach) badawczych.

Sumy kwadratów typu V. W szczególności proponujemy termin Sumy kwadratów typu V dla oznaczenia podejścia szeroko wykorzystywanego w doświadczalnictwie przemysłowym do analizowania planów (układów) czynnikowych frakcyjnych. Te typy planów eksperymentalnych zostały szczegółowo omówione w części Plany frakcyjne dwuwartościowe 2(k-p) zawartej w rozdziale Planowanie doświadczeń . W rezultacie dla wszystkich efektów, dla których są przeprowadzane testy, wszystkie populacyjne średnie brzegowe (oczekiwane średnie brzegowe ) są estymowalne.

Sumy kwadratów typu VI. Po drugie, trzymając się konwencji terminologicznej: sumy kwadratów Typu I proponujemy termin Sumy kwadratów typu VI dla oznaczenia podejścia, które jest często stosowane w programach wykorzystujących tylko model z sigma-ograniczeniami (który nie jest zbyt odpowiedni dla niektórych typów układów ; oferujemy wybór pomiędzy modelem z sigma-ograniczeniami a modelem przeparametryzowanym). Podejście to jest identyczne do podejścia, które zostało opisane przez Hockinga (1996) jako metoda hipotez efektywnych .

Efekty zagnieżdżone. Poniższe opisy wykorzystują termin efekt zagnieżdżony. Efekt E1 (np. interakcja A * B) jest zagnieżdżony w innym efekcie E2 jeśli:

Sumy kwadratów typu I. Sumy kwadratów typu I wymagają sekwencyjnego podziału sumy kwadratów dla pełnego modelu. Szacowane są serie równań regresji ułożone hierarchicznie, przy czym w każdym kroku dodawany jest dodatkowy efekt do modelu. W przypadku sum kwadratów typu I, sumy kwadratów dla każdego efektu są wyznaczane przez odjęcie od przewidywanych sum kwadratów z efektem zawartym w modelu przewidywanych sum kwadratów dla poprzedniego modelu, nie zawierającego efektu. Testy istotności dla każdego efektu są następnie przeprowadzane w oparciu o przyrost przewidywanych sum kwadratów wyjaśnianych przez efekt. Dlatego też sumy kwadratów typu I są czasem nazywane sekwencyjnymi lub hierarchicznymi sumami kwadratów.

Sumy kwadratów typu I są odpowiednie do zastosowania w przypadku zrównoważonych układów ANOVA (o równych licznościach w obrębie podklas), w których efekty są wprowadzane do modelu w ich naturalnej kolejności (tzn. wszystkie efekty główne są wprowadzane przed wszystkimi efektami interakcji dwuczynnikowych, wszystkie efekty interakcji dwuczynnikowych są wprowadzane przed wszystkimi efektami interakcji trójczynnikowych itd.). Sumy kwadratów typu I są także użyteczne w modelach regresji wielomianowej, w przypadku których wszystkie efekty niższego rzędu są wprowadzane do modelu przed wszystkimi efektami wyższego rzędu. Trzeci przykład stosowania sum kwadratów typu I pojawia się przy testowania hipotez dla układów hierarchicznie zagnieżdżonych , w przypadku których pierwszy efekt występujący w układzie jest zagnieżdżony w obrębie drugiego efektu, drugi efekt jest zagnieżdżony w obrębie trzeciego efektu itd.

Jedną z ważnych własności sum kwadratów typu I jest to, że sumy kwadratów przypisywane każdemu z efektów sumują się tworząc sumy kwadratów dla pełnego modelu. Tak więc sumy kwadratów typu I umożliwiają kompletną dekompozycję przewidywanych sum kwadratów dla pełnego modelu. Własność ta nie występuje zazwyczaj w przypadku pozostałych typów sum kwadratów. Jednakże ważnym ograniczeniem sum kwadratów typu I jest to, że sumy kwadratów przypisywane do określonego efektu generalnie zależą od kolejności, według której efekty są wprowadzane do modelu. Ten brak niezmienniczości względem kolejności wprowadzania efektów do modelu ogranicza użyteczność sum kwadratów typu I do testowania hipotez dla pewnych układów (np. planów czynnikowych frakcyjnych ).

Sumy kwadratów typu II. Sumy kwadratów typu II są czasami nazywane częściowo sekwencyjnymi sumami kwadratów. Podobnie jak sumy kwadratów typu I, sumy kwadratów typu II dla efektu pozwalają kontrolować wpływ innych efektów. Jednakże to, które z pozostałych efektów mają podlegać kontroli, jest zdeterminowane przez inne kryterium. W przypadku sum kwadratów typu II sumy kwadratów dla efektów są obliczane przy jednoczesnej kontroli wpływu wszystkich pozostałych efektów tego samego lub niższego rzędu. A zatem sumy kwadratów dla efektów głównych kontrolują wpływ wszystkich pozostałych efektów głównych, sumy kwadratów dla dwuczynnikowych interakcji kontrolują wpływ wszystkich efektów głównych oraz wszystkie pozostałe dwuczynnikowe interakcje itd.

W odróżnieniu od sum kwadratów typu I, sumy kwadratów typu II są niezmiennicze względem kolejności, według której efekty są wprowadzane do modelu. To sprawia, że sumy kwadratów typu II są użyteczne do testowania hipotez dotyczących modeli regresji wielokrotnej , układów ANOVA efektów głównych , układów czynnikowych ANOVA kompletnych o równych licznościach w obrębie podklas oraz układów hierarchicznie zagnieżdżonych .

Nie jest natomiast wskazane stosowanie sum kwadratów typu II w przypadku układów czynnikowych z nierównymi licznościami w obrębie podklas. W takich sytuacjach sumy kwadratów typu II służą do testowania hipotez, będących złożonymi funkcjami liczności podklas, które zazwyczaj nie są czytelne. Dlatego też zazwyczaj jest preferowana inna metoda testowania hipotez.

Sumy kwadratów typu III. Sumy kwadratów typu I i typu II nie są zazwyczaj odpowiednie do testowania hipotez w przypadku układów czynnikowych ANOVA o nierównych licznościach w obrębie podklas. Natomiast sumy kwadratów typu III w przypadku układów ANOVA o nierównych licznościach w obrębie podklas testują takie same hipotezy, które byłyby testowane w sytuacji, gdyby liczności w obrębie podklas były sobie równe przy zastrzeżeniu, że w obrębie każdej podklasy występuje przynajmniej jedna obserwacja. W szczególności w przypadku układów, w których nie występują podklasy o brakujących obserwacjach, sumy kwadratów typu III testują hipotezy dotyczące różnic średnich subpopulacyjnych (inaczej brzegowych). Jeśli w danym układzie nie występują podklasy o brakujących obserwacjach, wówczas średnie subpopulacyjne są oczekiwanymi średnimi brzegowymi , które stanowią najlepsze liniowo nieobciążone oceny średnich brzegowych w układzie (patrz: Milliken i Johnson, 1984).

Testy różnic oczekiwanych średnich brzegowych posiadają ważną własność polegającą na tym, że pozostają niezmiennicze względem wybranego sposobu kodowania efektów dla zmiennych stanowiących predyktory jakościowe (np. zastosowanie modelu z sigma-ograniczeniami lub modelu przeparametryzowanego ) oraz wyboru określonej g2 odwrotności macierzy X'X wykorzystywanej do rozwiązania równań normalnych. Dlatego też o testach liniowych kombinacji oczekiwanych średnich brzegowych , w tym również o testach typu III różnic oczekiwanych średnich brzegowych , mówi się ogólnie, że nie zależą od sposobu parametryzacji układu. To sprawia, że sumy kwadratów typu III są użyteczne do testowania hipotez w dowolnych układach, dla których sumy kwadratów typu I lub typu II są właściwe, jak również dowolnych układach niezrównoważonych ANOVA nie zawierających podklas o brakujących obserwacjach.

Sumy kwadratów typu III przypisywane danemu efektowi są obliczane jako sumy kwadratów dla efektu przy jednoczesnej kontroli dowolnych efektów tego samego lub niższego rzędu jednocześnie ortogonalnych w stosunku do jakichkolwiek efektów interakcji wyższego rzędu, które je zawierają (jeśli w ogóle uwzględniane są efekty interakcji ). Ortogonalność w odniesieniu do efektów wyższego rzędu zawierających interakcje jest tym, co nadaje sumom kwadratów typu III pożądane własności, wiążące się z liniowymi kombinacjami oczekiwanych średnich brzegowych w przypadku układów ANOVA nie zawierających podklas o brakujących danych. Natomiast w przypadku układów ANOVA zawierających podklasy o brakujących obserwacjach sumy kwadratów typu III generalnie nie nadają się do testowania hipotez dotyczących oczekiwanych średnich brzegowych . Nadają się natomiast do testowania hipotez definiowanych poprzez złożone funkcje parametrów modelu, a zwłaszcza interakcji wyższego rzędu z uwzględnieniem struktury brakujących podklas w układzie. Często zdarza się, że zarówno hipotezy dotyczące interakcji wyższego rzędu, jak i struktura estymowalnych funkcji w tym przypadku są trudne do zinterpretowania. W takiej sytuacji preferowane są sumy kwadratów typu V lub testy efektywnych hipotez (sumy kwadratów typu VI).

Sumy kwadratów typu IV. Sumy kwadratów typu IV zostały wprowadzone do testowania "zrównoważonych" hipotez dla efektów niższego rzędu w układach ANOVA zawierających podklasy o brakujących obserwacjach. Sumy kwadratów typu IV są wyliczane przy równomiernym rozłożeniu współczynników kontrastów podklas dla efektów niższego rzędu wzdłuż poziomów wyższego rzędu zawierających interakcje .

Sumy kwadratów typu IV nie są polecane do testowania hipotez dotyczących efektów niższego rzędu w przypadku układów ANOVA zawierających podklasy o brakujących obserwacjach, mimo iż właśnie do tego celu zostały wprowadzone. Uzasadnieniem jest to, że sumy kwadratów typu IV są niezmiennicze względem niektórych, ale nie wszystkich, odwrotności typu g2 macierzy X'X, które mogłyby zostać użyte do rozwiązania równań normalnych. W szczególności sumy kwadratów typu IV są niezmiennicze względem wyboru odwrotności typu g2 macierzy X'X przy ustalonej kolejności poziomów zmiennych będących predyktorami jakościowymi , ale nie są niezmiennicze względem różnych kolejności poziomów. Ponadto, tak jak w przypadku sum kwadratów typu III, sumy kwadratów typu IV testują hipotezy będące złożonymi funkcjami struktury układów podklas o brakujących obserwacjach w przypadku efektów wyższych rzędów zawierających interakcje i które zwykle nie są znaczące.

Statystycy, którzy badali użyteczność sum kwadratów typu IV, doszli do wniosku, że sumy kwadratów typu IV nie bardzo nadają się do zadań, do których zostały wprowadzone.

Dlatego też przy stosowaniu rozwiązania opierającego się na sumach kwadratów typu IV przed przeprowadzeniem interpretacji zaleca się zachowanie ostrożności przy jednoczesnym dobrym rozumieniu istoty hipotez (często niejednoznaczne), które mają podlegać testowaniu. Ponadto w przypadku układów ANOVA nie zawierających podklas o brakujących obserwacjach sumy kwadratów typu IV są zawsze równoważne sumom kwadratów typu III, a zatem stosowanie sum kwadratów typu IV jest albo (potencjalnie) nieodpowiednie, albo niekonieczne, w zależności od występowania w układzie podklas o brakujących obserwacjach.

Sumy kwadratów typu V. Sumy kwadratów typu V zostały wprowadzone jako metoda alternatywna w stosunku do sum kwadratów typu IV do testowania hipotez w przypadku układów ANOVA z podklasami o brakujących obserwacjach. Podejście to jest także szeroko wykorzystywane w doświadczalnictwie przemysłowym do analizy planów czynnikowych frakcyjnych. Te rodzaje planów zostały szczegółowo omówione w części Plany frakcyjne 2(k-p) zamieszczonej w rozdziale Planowanie doświadczeń . W rezultacie dla efektów, dla których są przeprowadzane testy, estymowalne są wszystkie populacyjne średnie brzegowe (oczekiwane średnie brzegowe ).

Sumy kwadratów typu V wymagają kombinacji metod stosowanych przy obliczaniu sum kwadratów typu I i typu III. W szczególności to, czy dany efekt jest możliwy do usunięcia z modelu, jest określane za pomocą procedur typu I, a następnie przy użyciu procedur typu III testowaniu podlegają hipotezy dla efektów, które nie zostały usunięte z modelu. Sumy kwadratów typu V mogą zostać zilustrowane za pomocą prostego przykładu. Przypuśćmy, że badanymi efektami są efekty A, B oraz A x B w podanej kolejności i że zarówno A, jak i B są predyktorami jakościowymi zawierającymi, powiedzmy odpowiednio 3 i 2 poziomy. Jako pierwszy do modelu zostaje wprowadzony wyraz wolny. Następnie do modelu jest wprowadzany czynnik A i określa się odpowiadającą mu liczbę stopni swobody (tzn. liczbę nieredundantnych kolumn dla A w macierzy X'X przy danym wyrazie wolnym). Jeśli liczba stopni swobody dla A jest niższa od 2 (tzn. liczba jego poziomów minus 1), wówczas może on zostać pominięty. W następnym kroku do modelu wprowadzamy B i wyznaczamy odpowiadającą mu liczbę stopni swobody (tj. liczbę nieredundantnych kolumn dla B w X'X przy danym wyrazie wolnym). Jeśli liczba stopni swobody dla B jest mniejsza niż 1 (tj. liczba jego poziomów minus 1), wówczas może on być pominięty w modelu. W końcu do modelu jest wprowadzany efekt A x B oraz jest określana odpowiadająca mu liczba stopni swobody (tzn. liczba nieredundantnych kolumn dla A x B w macierzy X'X przy danym wyrazie wolnym, czynniku A i B). Jeśli liczba stopni swobody dla A x B jest niższa od 2 (tzn. iloczyn liczby stopni swobody jego czynników jeśli w układzie nie występowały podklasy o brakujących obserwacjach), wówczas może on zostać pominięty. Suma kwadratów typu III jest następnie wyliczana dla efektów, w przypadku których nie stwierdzono możliwości ich pominięcia w modelu, doprowadzając do zredukowanego modelu, w którym wszystkie możliwe do usunięcia efekty zostały pominięte. Jednakże test istotności wykorzystuje źródło zmienności dla błędu dla pełnego modelu przed pominięciem jakichkolwiek możliwych efektów.

Zauważmy, że sumy kwadratów typu V wymagają określenia zredukowanego modelu, dla którego wszystkie efekty pozostające w modelu mają przynajmniej tyle stopni swobody, ile miałyby w przypadku nie występowania podklas o brakujących obserwacjach. Jest to równoważne znalezieniu podukładu, w którym nie występują podklasy o brakujących obserwacjach i dla którego sumy kwadratów typu III dla wszystkich efektów w podukładzie odzwierciedlają różnice w oczekiwanych średnich brzegowych .

Przy stosowaniu sum kwadratów typu V należy zachować odpowiednią ostrożność. Pominięcie efektu w modelu sprowadza się do tego samego, co założenie, że efekt nie jest powiązany z wynikiem (patrz: np. Hocking, 1996). Sensowność założenia niekoniecznie zapewnia jego poprawność, dlatego też, jeśli to możliwe, należy sprawdzić powiązania pominiętych efektów ze zmienną wynikową. Jest również ważne odnotowanie tego, że sumy kwadratów typu V nie są niezmiennicze względem kolejności, według której można ocenić możliwość pominięcia efektów w modelu. Różna kolejność efektów może tworzyć różne modele zredukowane.

Pomimo tych ograniczeń, sumy kwadratów typu V dla zredukowanego modelu mają takie same własności jak sumy kwadratów typu III w przypadku układów ANOVA bez podklas o brakujących obserwacjach. Nawet w przypadku układów z wieloma podklasami o brakujących obserwacjach (takich jak plany czynnikowe frakcyjne , w których wiele efektów interakcji wyższego rzędu zakłada się jako równe 0), sumy kwadratów typu V umożliwiają testowanie hipotez zarówno takich, które posiadają wyraźną interpretację, jak i hipotez, które nie mogą być testowane za pomocą innych metod.

Sumy kwadratów typu VI (hipotezy efektywne). Wszystkie sumy kwadratów od typu I do typu V mogą być rozpatrywane jako dostarczające testy hipotez mówiących o tym, że podzbiór cząstkowych współczynników regresji (uwzględniających lub ortogonalnych w stosunku do odpowiednich pozostałych efektów) jest równy zero. Testy hipotez efektywnych (rozwinięte przez Hockinga, 1996) są oparte na filozofii zakładającej, że jedyną jednoznaczną oceną efektu jest frakcja zmienności wyników zmiennej zależnej, jednoznacznie przypisana do efektu. Generalnie dla otrzymania takich jednoznacznych ocen dla efektów niższego rzędu nie może być wykorzystywane kodowanie efektów za pomocą modelu przeparametryzowanego dla zmiennych będących predyktorami jakościowymi . Testy efektywnych hipotez, które proponujemy nazwać sumami kwadratów typu VI, w celu otrzymania jednoznacznych ocen efektów nawet dla efektów niższego rzędu wykorzystują dla zmiennych będących predyktorami jakościowymi kodowanie efektów z sigma-ograniczeniami .

Metoda służąca do obliczania sum kwadratów typu VI jest prosta. Stosowane jest kodowanie efektów z sigma-ograniczeniami , a dla każdego efektu odpowiadająca mu suma kwadratów typu VI stanowi różnicę pomiędzy sumami kwadratów dla pełnego modelu a sumami kwadratów dla modelu z wszystkimi pozostałymi efektami. Jako takie, sumy kwadratów typu VI dostarczają jednoznacznej oceny zmienności przewidywanych wartości dla zmiennej wynikowej (sumy kwadratów dla efektu) jednoznacznie związanej z każdym efektem.

W przypadku układów ANOVA zawierających podklasy o brakujących obserwacjach sumy kwadratów typu VI dla efektów mogą mieć mniejszą liczbę stopni swobody, niż miałyby w sytuacji, gdyby w układzie nie było podklas o brakujących obserwacjach, a dla niektórych układów z podklasami o brakujących danych liczba stopni swobody może wynosić nawet zero. Filozofia sum kwadratów typu VI polega na testowaniu tak dużej liczby oryginalnych hipotez, jak to tylko jest możliwe dla danych bez podklas o brakujących obserwacjach. Jeśli układ podklas o brakujących obserwacjach jest taki, że żaden fragment oryginalnych hipotez nie może być testowany, to trudno, niech tak będzie. Brak możliwości testowania hipotez jest po prostu ceną, którą płacimy za brak obserwacji w obrębie niektórych kombinacji poziomów zmiennych będących predyktorami jakościowymi . Filozofia ta polega na tym, że lepiej jest przyjąć, że hipotezy nie mogą być testowane, niż testować fałszywe hipotezy, które nie mogą w znaczący sposób odzwierciedlać oryginalnych hipotez.

Generalnie sumy kwadratów typu VI nie mogą być wykorzystywane do testowania hipotez w przypadku zagnieżdżonych układów ANOVA, układów różnych nachyleń lub układów dla modelu mieszanego , ponieważ kodowanie efektów z sigma-ograniczeniami dla zmiennych będących predyktorami jakościowymi jest zbytnio ograniczone w przypadku takich układów. Jednakże ograniczenie to nie pomniejsza faktu, że sumy kwadratów typu VI mogą być obliczane dla każdego innego układu, który może być analizowany za pomocą ogólnego modelu liniowego.

Indeks

Źródła błędu dla testów

Testy braku dopasowania wykorzystujące czysty błąd. Testy adekwatności pełnego modelu oraz testy bazujące na sześciu typach sum kwadratów wykorzystują średni kwadrat dla reszty jako źródło błędu dla testów istotności. Jednakże w przypadku niektórych typów układów resztowa suma kwadratów może być dalej dzielona na odpowiednie części, które są stosowne do testowania hipotez. Jednym z takich typów modeli jest model regresji prostej, w którym występują podzbiory przypadków o tych samych wartościach zmiennej będącej predyktorem. Przykładowo: sprawność wykonania zadania mogłaby być mierzona dla osobników wykonujących zadanie w kilku różnych pomieszczeniach o różnych warunkach temperaturowych. Test istotności dla efektu Temperatura w regresji liniowej Sprawności niekoniecznie dostarczałby pełnej informacji o tym, w jaki sposób Temperatura jest powiązana ze Sprawnością. Współczynnik regresji dla Temperatury odzwierciedla tylko jej liniowy wpływ na zmienną wynikową.

Jedynym sposobem zebrania dodatkowej informacji na podstawie układu tego typu jest podział resztowych sum kwadratów na składową lack-of-fit i czysty błąd . W opisanym właśnie przykładzie umożliwiłoby to określenie różnicy pomiędzy sumą kwadratów, która nie może być przewidywana poprzez poziomy Temperatury, przy danym liniowym efekcie Temperatury (resztowe sumy kwadratów) oraz czystego błędu . Różnica ta byłaby sumą kwadratów powiązaną ze składową braku dopasowania (w tym przykładzie modelu liniowego). Test braku dopasowania , wykorzystujący średni kwadrat czystego błędu jako źródło błędu, wskazuje czy nieliniowe efekty Temperatury są potrzebne do odpowiedniego zamodelowania wpływu Temperatury na zmienną wynikową. Ponadto efekt liniowy mógłby być testowany za pomocą źródła czystego błędu , dostarczając w ten sposób bardziej wrażliwy test efektu liniowego niezależny od jakiegokolwiek możliwego efektu nieliniowego.

Układy z zerową liczbą stopni swobody dla błędu. Kiedy liczba stopni swobody dla modelu jest równa liczbie przypadków lub osobników, wtedy resztowe sumy kwadratów będą miały zerową liczbę stopni swobody i w ten sposób uniemożliwią stosowanie standardowych testów hipotez. Sytuacja taka pojawia się czasem w przypadku układów przeszacowanych (tzn. układów zawierających wiele predyktorów lub układów zawierających predyktory jakościowe o wielu poziomach). Jednakże w przypadku niektórych doświadczeń zaplanowanych, np. w doświadczeniach wykorzystujących układy split-plot lub plany czynnikowe frakcyjne (ułamkowe) zawierające niewielką część efektów czynnikowych i interakcyjnych (układy wysokoułamkowe) powszechnie stosowane w doświadczalnictwie przemysłowym, często zdarza się sytuacja, że resztowa suma kwadratów ma zerową liczbę stopni swobody. W takich doświadczeniach wcześniej zakłada się, że średnie kwadraty dla określonych efektów zostaną użyte w charakterze źródła błędu przy testowaniu istotności innych efektów i z myślą o tym doświadczenie jest planowane. Użycie innych źródeł niż średni kwadrat dla reszty w charakterze źródeł błędu przy testowaniu hipotez w przypadku układów tego typu jest całkowicie poprawne.

Testy w układach dla modeli mieszanych. Układy, które zawierają efekty losowe dla jednego lub większej liczby predyktorów jakościowych , są nazywane układami mieszanymi. Te typy układów oraz zagadnienia związane z ich analizą zostały także szczegółowo opisane w rozdziale Komponenty wariancyjne i model mieszany ANOVA/ANCOVA . Efekty losowe są efektami klasyfikacji, w przypadku których zakłada się, że występujące w ich obrębie poziomy zostały dobrane losowo z nieskończonej populacji możliwych poziomów. Rozwiązanie układu równań normalnych w układach dla modelu mieszanego jest takie samo jak rozwiązanie dla układów w przypadku modeli o efektach stałych (tzn. układów nie zawierających efektów losowych ). Analiza układu dla modeli mieszanych różni się od analizy układów o efektach stałych jedynie sposobem testowania istotności efektów. W przypadku układów o efektach stałych efekty międzygrupowe są zawsze testowane względem średniego kwadratu dla reszty jako źródła błędu. W przypadku układów o efektach losowych efekty międzygrupowe są testowane względem stosownych źródeł błędu, związanych ze współzmiennością innych źródeł zmienności występujących w układzie. Ponadto w przypadku modeli mieszanych przy kodowaniu efektów dla predyktorów jakościowych może być stosowany tylko model przeparametryzowany , ponieważ model z sigma-ograniczeniami jest zbyt ograniczony.

Współzmienność źródeł zmienności występujących w układzie jest szacowana poprzez elementy macierzy nazywanej macierzą oczekiwanych średnich kwadratów (ang. EMS; Expected Mean Squares). Macierz ta (nie będąca macierzą kwadratową) zawiera elementy dla współzmienności każdej dwuelementowej kombinacji źródeł zmienności oraz dla każdej kombinacji pojedynczego źródła zmienności z błędem. Zauważmy, że oczekiwane średnie kwadraty mogą być wyliczane przy użyciu dowolnego spośród typów sum kwadratów (od Typu I do Typu V ). Po obliczeniu elementów macierzy EMS jest ona wykorzystywana do rozwiązania liniowych kombinacji źródeł zmienności losowej, odpowiednich do użycia w charakterze źródeł błędu przy testowaniu istotności odpowiednich efektów. Wykorzystuje się do tego celu metodę Saterthwaite'a łączenia mianownika (Satterthwaite, 1946). Szczegółowe omówienia metod służących do testowania efektów w przypadku modeli mieszanych oraz pokrewne metody służące do estymacji komponentów wariancyjnych dla efektów losowych można znaleźć w rozdziale Komponenty wariancyjne i model mieszany ANOVA/ANCOVA .

Indeks

Testowanie hipotez szczegółowych

Testy adekwatności pełnego modelu oraz testy opierające się na sumach kwadratów związanych z określonymi efektami stanowią ilustrację dwóch ogólnych typów hipotez, które mogą być testowane za pomocą ogólnego modelu liniowego. Niemniej jednak mogą również występować inne typy hipotez, które badacz chciałby poddać testowaniu, a które nie należą do żadnej z tych kategorii. Przykładowo: mogą go interesować hipotezy dotyczące podzbiorów efektów lub hipotezy umożliwiające porównanie określonych poziomów zmiennych będących predyktorami jakościowymi .

Zagadnienie estymowalności hipotez. Przed rozważeniem testów hipotez szczegółowych ważną rzeczą jest zwrócenie uwagi na zagadnienie estymowalności. Test hipotezy szczegółowej wykorzystujący ogólny model liniowy musi zostać przedstawiony w kategoriach współczynników regresji dla rozwiązania równań normalnych. Jeśli macierz X'X jest macierzą rzędu niższego niż pełny rząd, wówczas współczynniki regresji zależą od szczegółowej postaci uogólnionej odwrotności wykorzystywanej przy rozwiązywaniu równań normalnych i współczynniki regresji nie będą wyznaczone jednoznacznie. Gdy współczynniki regresji nie są wyznaczone jednoznacznie, wtedy liniowe funkcje (f) współczynników regresji mają postać:

f = Lb

gdzie L będący wektorem współczynników generalnie również nie jest wyznaczony jednoznacznie. Jednakże wyrażenie Lb dla L spełniającego równanie

L = L(X'X)-X'X

jest niezmiennicze dla wszystkich możliwych odwrotności typu g2 i dlatego jest nazywane funkcją estymowalną.

Teoria estymowalności funkcji liniowych stanowi jedno z bardziej zaawansowanych zagadnień w obrębie teorii niezmienników algebraicznych (Searle; 1987 zamieszcza obszerne wprowadzenie do tego zagadnienia), ale wnioski z niej płynące są dość czytelne. Jedną z sytuacji braku estymowalności hipotez napotkaliśmy przy okazji omawiania testów efektywnych hipotez, w przypadku których mamy do czynienia z zerową liczbą stopni swobody. Z drugiej strony sumy kwadratów Typu III dla efektów dotyczących zmiennych będących predyktorami jakościowymi w układach ANOVA bez brakujących podklas (oraz oczekiwane średnie brzegowe w takich układach) stanowią przykład funkcji estymowalnych, które nie zależą od sposobu parametryzacji modelu (tzn. szczegółowej odwrotności g2 użytej do rozwiązania równań normalnych). Główny wniosek wypływający z teorii estymowalności funkcji liniowych sprowadza się do tego, że hipotezy, które nie mogą zostać wyrażone w postaci kombinacji liniowych wierszy macierzy X (tzn. kombinacji obserwowanych poziomów zmiennych będących predyktorami jakościowymi ), nie są estymowalne i w związku z tym nie mogą być testowane. Innymi słowy, po prostu nie można testować szczegółowych hipotez, które nie są reprezentowane w obrębie danych. Pojęcie estymowalności jest bardzo wartościowe, ponieważ test estymowalności pozwala wyraźnie określić, które szczegółowe hipotezy mogą być testowane, a które nie.

Hipotezy dotyczące liniowych kombinacji efektów. W przypadku modeli regresji wielorakiej często zdarza się, że hipotezy stanowiące przedmiot zainteresowania dotyczą podzbiorów efektów. Przykładowo: w układach dla mieszaniny badacz mógłby być zainteresowany jednoczesnym testowaniem hipotezy, że efekt główny oraz któraś z dwuczynnikowych interakcji dotyczących określonej zmiennej predykcyjnej różnią się od zera. W modelach regresji wielorakiej występują również często hipotezy dotyczące porównania współczynników kierunkowych (nachyleń). Przykładowo: ktoś mógłby być zainteresowany tym, czy współczynniki regresji dla dwóch zmiennych predykcyjnych różnią się między sobą. Zarówno w przypadku regresji czynnikowej, jak i ANOVA dla układów czynnikowych z wieloma czynnikami często badacz jest zainteresowany tym, czy pewne zbiory efektów, powiedzmy wszystkie interakcje trójczynnikowe i wyższego rzędu, są niezerowe.

Testy szczegółowych hipotez tego rodzaju wymagają (1) skonstruowania jednego lub wielu wyrażeń L odzwierciedlających hipotezy, (2) testowania estymowalności hipotez poprzez określenie czy

L = L(X'X)-X'X

a w przypadku stwierdzenia estymowalności zastosowanie (3)

(Lb)'-L')-1(Lb)

do estymacji sumy kwadratów dla hipotezy. Na końcu, (4) testowana jest hipoteza istotności przy użyciu zwykłego średniego kwadratu dla reszty jako źródła błędu. Dla zilustrowania tej składającej się z czterech kroków procedury przypuśćmy, że potrzebujemy przeprowadzić test zróżnicowania współczynników kierunkowych dla dwóch zmiennych predykcyjnych (plus wyraz wolny) w przypadku układu regresji wielorakiej pierwszego rzędu. Współczynniki dla wyrażenia L miałyby postać:

L = [0 1 -1]

(zauważmy, że pierwszy ze współczynników wynoszący zero wyklucza wyraz wolny z porównania), dla której wyrażenie Lb jest estymowalne w przypadku, gdy 2 zmienne objaśniające nie są nawzajem redundantne (zależne). Suma kwadratów dla hipotezy odzwierciedla różnicę cząstkowych współczynników regresji dla dwóch zmiennych objaśniających, która jest testowana pod kątem istotności za pomocą średniego kwadratu dla reszty traktowanego jako źródło błędu.

Porównania zaplanowane oczekiwanych średnich brzegowych. Hipotezy doświadczalne są zazwyczaj stawiane w kategoriach bardziej szczegółowych niż hipotezy dotyczące tylko efektów głównych lub interakcji . Można postawić szczegółową hipotezę mówiącą o tym, że określony podręcznik powoduje wzrost umiejętności matematycznych u mężczyzn, ale nie u kobiet, podczas gdy inny podręcznik jest jednakowo efektywny w przypadku obydwu płci. Ogólnie mówiąc, przewidujemy występowanie interakcji : efektywność podręcznika jest modyfikowana przez płeć uczniów. Mamy jednakże szczegółową prognozę dotyczącą istoty interakcji : oczekujemy istotnej różnicy pomiędzy płciami w przypadku jednego podręcznika, ale nie w przypadku drugiego. Ten typ szczegółowej hipotezy jest zazwyczaj testowany za pomocą porównań zaplanowanych oczekiwanych średnich brzegowych (ocen populacyjnych średnich brzegowych), znanych także pod nazwą analizy kontrastów .

Mówiąc skrótowo, analiza kontrastów umożliwia testowanie statystycznej istotności przewidywanych szczegółowych różnic w określonym fragmencie złożonego układu. Składająca się z czterech kroków procedura, służąca do testowania szczegółowych hipotez, jest wykorzystywana do określania i testowania szczegółowych przewidywań. Analiza kontrastów stanowi główny i niezbędny składnik analizy wielu złożonych układów doświadczalnych.

Aby dowiedzieć się więcej na temat podstaw logicznych i sposobu interpretacji analizy kontrastów, należy sięgnąć do fragmentu Przegląd wprowadzający zamieszczonego w rozdziale ANOVA/MANOVA .

Porównania post-hoc. Czasami zdarza się, że w przeprowadzonym eksperymencie natrafiamy na efekty, których się nie spodziewaliśmy. Nawet jeśli w większości przypadków twórczy eksperymentator będzie umiał wyjaśnić prawie każdy układ średnich, to niekoniecznie należy go analizować i szacować tak, jak gdyby był to układ, którego należało oczekiwać. Pojawia się tu problem przypadkowych wyników uzyskiwanych podczas przeprowadzania wielokrotnych testów post hoc, tzn. bez hipotez a priori. Aby zobrazować tę sytuację, rozważmy następujący "eksperyment". Zapiszmy liczby z przedziału od 1 do 10 na 100 skrawkach papieru. Następnie wkładamy je wszystkie do kapelusza i pobieramy 20 prób (kawałków papieru, każda po 5 obserwacji), oraz obliczamy średnią (spośród liczb zapisanych na skrawkach papieru) dla każdej z grup. Zastanówmy się, jakie jest prawdopodobieństwo, że natrafimy na dwie średnie z próby, których różnica jest statystycznie istotna? Okazuje się, że jest to bardzo prawdopodobne! Wybór skrajnych wartości średnich otrzymanych z 20 prób różni się bardzo od pobrania od razu tylko 2 prób, co zakłada test poprzez analizę kontrastów. Bez wchodzenia w dalsze szczegóły można powiedzieć, że istnieje kilka tzw. testów post hoc, które są wprost oparte na pierwszym scenariuszu (pobranie skrajnych wartości spośród 20 prób), tzn. oparte są na założeniu, że dla naszego porównania wybraliśmy najbardziej skrajne (różne) średnie spośród całkowitej liczby k średnich w układzie. Testy te wprowadzają "poprawki" kompensujące korzyść wynikającą z wyboru podejścia post hoc najbardziej skrajnych porównań. Zawsze, kiedy napotykamy na nieoczekiwane rezultaty eksperymentu, powinniśmy zastosować te procedury post hoc, aby ocenić statystyczną istotność uzyskanych rezultatów.

Indeks

Testowanie hipotez w przypadku powtarzanych pomiarów i wielu zmiennych zależnych

Podczas omawiania różnych hipotez, które mogą być testowane za pomocą ogólnego modelu liniowego, przedstawiono testy przeznaczone do testowania "zmiennej zależnej " lub "wynikowej". Zrobiono to jedynie w celu uproszczenia dyskusji. W przypadku występowania wielu zmiennych zależnych odzwierciedlających poziomy czynników powtarzanych pomiarów ogólny model liniowy przeprowadza testy, wykorzystując normalizujące przekształcenie M zmiennych zależnych . W przypadku gdy występuje wiele zmiennych zależnych , ale nie ma czynników powtarzanych pomiarów , ogólny model liniowy przeprowadza testy, wykorzystując sumy kwadratów i iloczyny dla hipotez odnoszące się do wielu zmiennych zależnych , które są testowane względem resztowych sum kwadratów i iloczynów dla wielu zmiennych zależnych . Tak więc ta sama procedura testowania hipotez, która ma zastosowanie w przypadku układów jednowymiarowych z pojedynczą zmienną zależną , jest także stosowana w odniesieniu do powtarzanych pomiarów i układów wielowymiarowych .

Indeks





© Copyright StatSoft, Inc., 1984-2024
STATISTICA is a trademark of StatSoft, Inc.