© Copyright StatSoft, Inc., 1984-2024
Przeszukaj Internetowy Podręcznik Statystyki
Modele cząstkowych najmniejszych kwadratów (PLS)

Ten rozdział przedstawia sposób przeprowadzania regresji metodą cząstkowych najmniejszych kwadratów. Użytkownikom nieobeznanym z podstawowymi metodami regresji w modelach liniowych zaleca się sięgnięcie do podstawowych informacji na te tematy, zawartych w rozdziale Podstawowe pojęcia statystyki . Różne układy zostały także opisane w rozdziałach Ogólne modele liniowe (GLM) ,Uogólnione modele liniowe i nieliniowe (GLZ) oraz Ogólne modele regresji (GRM) .

Podstawowe idee

Regresja metodą cząstkowych najmniejszych kwadratów stanowi rozszerzenie modelu liniowej regresji wielorakiej (patrz np., Regresja wieloraka lub Ogólne modele regresji (GRM) ). W najprostszej postaci, model liniowy określa (liniowy) związek pomiędzy zmienną zależną (odpowiedzią) Y a zbiorem predyktorów X w postaci:

Y = b0 + b1X1 + b2X2 + ... + bpXp

W równaniu tym b0 oznacza współczynnik regresji dla wyrazu wolnego a bi to współczynniki regresji, dla zmiennych od 1 do p, obliczone na podstawie danych.

Przykładowo, moglibyśmy szacować (tzn., przewidywać) masę ciała człowieka w zależności od jego wzrostu i płci. Mierząc wzrost, wagę oraz określając płeć, moglibyśmy zastosować regresję liniową do oszacowania wartości odpowiednich współczynników regresji. W przypadku wielu zagadnień analizy danych, oszacowanie liniowych związków występujących pomiędzy zmiennymi wystarcza do opisania obserwowanych danych i przeprowadzenia rozsądnych prognoz dla nowych obserwacji (dalsze szczegóły można znaleźć w rozdziałach Regresja wieloraka lub Ogólne modele regresji (GRM) ).

Model liniowej regresji wielorakiej był rozszerzany na wiele sposobów, w celu rozwiązania bardziej wyrafinowanych zagadnień analizy danych. Model liniowej regresji wielorakiej stanowi podstawę dla wielu metod wielowymiarowych, takich jak analiza dyskryminacyjna (tzn., przewidywanie przynależności grupowej na podstawie poziomów predyktorów ciągłych), regresja metodą składowych głównych (tzn., przewidywanie odpowiedzi zmiennych zależnych na podstawie czynników odzwierciedlających poziomy predyktorów) czy korelacja kanoniczna (tzn., przewidywanie czynników odzwierciedlających odpowiedzi zmiennych zależnych na podstawie czynników zawierających poziomy predyktorów). Wszystkie te wielowymiarowe metody mają jedną wspólną własność. Metody te nakładają ograniczenia polegające na tym, że (1) czynniki odzwierciedlające zmienne ze zbioru Y i X są wyodrębniane w oparciu, odpowiednio, o macierze Y'Y oraz X'X a nie na podstawie macierzy iloczynów mieszanych dotyczących zarówno zmiennych ze zbioru Y jak i ze zbioru X oraz (2), że liczba funkcji prognostycznych nigdy nie przewyższa minimum z liczby zmiennych ze zbioru Y i X.

Regresja metodą cząstkowych najmniejszych kwadratów rozszerza liniową regresję wieloraką bez ograniczeń nakładanych przez analizę dyskryminacyjną , regresję metodą składowych głównych oraz korelację kanoniczną . W przypadku regresji metodą cząstkowych najmniejszych kwadratów, funkcje prognostyczne są reprezentowane przez czynniki wyznaczone w oparciu o macierz Y'XX'Y. Liczba takich funkcji prognostycznych, możliwych do wyznaczenia zazwyczaj przewyższa maksimum z liczby zmiennych Y i X.

Mówiąc krótko, regresja metodą cząstkowych najmniejszych kwadratów jest prawdopodobnie najmniej restrykcyjną spośród różnych wielowymiarowych rozszerzeń modelu liniowej regresji wielorakiej. Ta elastyczność umożliwia wykorzystywanie jej w sytuacjach kiedy stosowanie tradycyjnych metod wielowymiarowych jest poważnie ograniczone, jak np. wtedy gdy liczba obserwacji jest mniejsza od liczby predyktorów. Ponadto regresja metodą cząstkowych najmniejszych kwadratów może być wykorzystywana w charakterze narzędzia analizy eksploracyjnej do wyboru wygodnych predyktorów oraz do identyfikacji obserwacji odstających, przed użyciem klasycznej regresji liniowej.

Regresja metodą cząstkowych najmniejszych kwadratów była wykorzystywana w wielu dyscyplinach, takich jak chemia, ekonomia, medycyna, psychologia i farmacja gdzie występuje potrzeba tworzenia liniowych modeli prognostycznych, również z dużą liczbą predyktorów. Szczególnie w chemometrii, regresja metodą cząstkowych najmniejszych kwadratów stała się standardowym narzędziem do modelowania związków liniowych występujących w obrębie pomiarów wielowymiarowych (de Jong, 1993).

Indeks

Podejście obliczeniowe

Model podstawowy

Podobnie jak w przypadku liniowej regresji wielorakiej, głównym celem regresji metodą cząstkowych najmniejszych kwadratów jest budowa modelu liniowego w postaci Y=XB+E, gdzie Y oznacza macierz odpowiedzi o wymiarach n (liczba przypadków) na m (liczba zmiennych), X oznacza macierz predyktorów (układu (eksperymentu)) o wymiarach n (liczba przypadków) na p (liczba zmiennych), B oznacza macierz współczynników regresji o wymiarach p na m a E oznacza składnik losowy modelu o takich samych wymiarach jak macierz Y. Zmienne X i Y zostają zazwyczaj wycentrowane poprzez odjęcie od nich ich wartości średnich oraz wyskalowane poprzez podzielenie przez wartości odchyleń standardowych. Więcej informacji na temat zagadnień centrowania i skalowania w regresji metodą cząstkowych najmniejszych kwadratów można znaleźć w pracy: Geladi i Kowalsky (1986).

Zarówno w przypadku regresji metodą składowych głównych jak i regresji metodą cząstkowych najmniejszych kwadratów wartości czynnikowe tworzone są jako liniowe kombinacje wartości oryginalnych predyktorów, w taki sposób, że nie ma korelacji pomiędzy zmiennymi zawierającymi wartości czynnikowe, wykorzystywanymi w prognostycznym modelu regresji. Przypuśćmy na przykład, że mamy do czynienia ze zbiorem danych zawierającym zmienne zależne (odpowiedzi) Y (w postaci macierzy) oraz dużą liczbę predyktorów X (mający również postać macierzy), spośród których pewne zmienne są mocno skorelowane. Regresja wykorzystująca wyznaczanie czynników dla tego typu danych, wylicza macierz wartości czynnikowych o postaci T=XW dla odpowiedniej macierzy wag W a następnie bierze pod uwagę model regresji liniowej Y=TQ+E, gdzie Q oznacza macierz współczynników regresji (ładunków) dla T a E oznacza składnik błędu (szumu). Po obliczeniu wartości ładunków Q, powyższy model regresji staje się równoważny modelowi Y=XB+E, gdzie B=WQ, który może zostać wykorzystany jako prognostyczny model regresji.

Regresja metodą składowych głównych i regresja metodą cząstkowych najmniejszych kwadratów różnią się pod względem metod wykorzystywanych przy wyznaczaniu wartości czynnikowych. Mówiąc w skrócie, w przypadku regresji metodą składowych głównych tworzona jest macierz wag W odzwierciedlająca strukturę kowariancji pomiędzy predyktorami, podczas gdy w przypadku regresji metodą cząstkowych najmniejszych kwadratów tworzona jest macierz wag W odzwierciedlająca strukturę kowariancji pomiędzy predyktorami a zmiennymi zależnymi (odpowiedziami).

W celu określenia modelu, regresja metodą cząstkowych najmniejszych kwadratów tworzy macierz wag W (o wymiarach p na c) dla X, taką, że T=XW, tzn., kolumny macierzy W stanowią wektory wag dla kolumn macierzy X tworząc odpowiednią macierz wartości czynnikowych T (o wymiarach n na c). Wagi te są obliczane w taki sposób, że każda z nich maksymalizuje kowariancję pomiędzy odpowiedziami a odpowiadającymi im wartościami czynnikowymi. Następnie wykorzystywane są procedury zwykłej metody najmniejszych kwadratów dla regresji Y względem T w celu utworzenia macierzy Q zawierającej ładunki dla Y (lub inaczej wagi dla Y ) takie, że Y=TQ+E. Po obliczeniu Q otrzymujemy równanie Y=XB+E, gdzie B=WQ i w ten sposób model prognostyczny jest gotowy.

Dodatkową macierzą, która jest potrzebna dla pełnego opisu procedur regresji metodą cząstkowych najmniejszych kwadratów jest macierz ładunków czynnikowych P (o wymiarach p na c), która pozwala uzyskać model czynnikowy X=TP+F, gdzie F oznacza niewyjaśnioną część wyników X. Obecnie możemy przejść do opisania algorytmów wykorzystywanych w obliczeniach związanych z regresją metodą cząstkowych najmniejszych kwadratów.

Algorytm NIPALS

Standardowym algorytmem wykorzystywanym przy obliczaniu składników (tzn., czynników) regresji metodą cząstkowych najmniejszych kwadratów jest nieliniowa, iteracyjna procedura cząstkowych najmniejszych kwadratów (ang. nonlinear iterative partial least squares; NIPALS). Istnieje wiele wariantów algorytmu NIPALS, które stosują normalizację lub brak normalizacji pewnych wektorów. Poniższy algorytm, zakładający transformację zmiennych X i Y do takiej postaci, że ich średnie wynoszą zero jest uważany za jeden z najbardziej efektywnych algorytmów NIPALS.

Dla każdego h=1,...,c i danych A0=X'Y, M0=X'X, C0=I, oraz c:

  1. obliczamy dominujący wektor własny qh, o postaci Ah'Ah
  2. wh=GhAhqh, wh=wh/||wh|| i zapisujemy wh w kolumnach macierzy W
  3. ph=Mhwh, ch=wh'Mhwh, ph=ph/ch i zapisujemy ph w kolumnach macierzy P
  4. qh=Ah'wh/ch i zapisujemy qh w kolumnach macierzy Q
  5. Ah+1=Ah - chphqh' and Mh+1=Mh - chphph'
  6. Ch+1=Ch - whph'
Macierz wartości czynnikowych T jest następnie obliczana jako T=XW a współczynniki regresji metodą cząstkowych najmniejszych kwadratów B dla regresji Y względem X są obliczane według wzoru B=WQ'.

Algorytm SIMPLS

Alternatywną metodą estymacji dla składników regresji metodą cząstkowych najmniejszych kwadratów jest algorytm SIMPLS (de Jong, 1993), który można opisać w następujący sposób:

Dla każdego h=1,...,c i danych A0=X'Y, M0=X'X, C0=I oraz c:

  1. obliczamy dominujący wektor własny qh o postaci Ah'Ah
  2. wh=Ahqh, ch=wh'Mhwh, wh=wh/sqrt(ch) i zapisujemy wh w kolumnach macierzy W
  3. ph=Mhwh i zapisujemy ph w kolumnach macierzy P
  4. qh=Ah'wh i zapisujemy qh w kolumnach macierzy Q
  5. vh=Chph, and vh=vh/||vh||
  6. Ch+1=Ch - vhvh' and Mh+1=Mh - phph'
  7. Ah+1=ChAh
Podobnie jak w przypadku algorytmu NIPALS, macierz T w algorytmie SIMPLS jest obliczana za pomocą wzoru T=XW a macierz B dla regresji Y względem X jest obliczana jako B=WQ'.

Indeks

Próba ucząca (do analizy) i próba do weryfikacji (oceny krzyżowej)

Bardzo ważnym krokiem przy dopasowywaniu modeli, które mają być wykorzystywane do przewidywania przyszłych obserwacji jest przeprowadzenie weryfikacji (oceny krzyżowej) wyników, tzn. zastosowanie bieżących wyników do nowego zbioru obserwacji, który nie był wykorzystywany w trakcie obliczania tych wyników (estymacji parametrów). Moduł PLS oferuje bardzo elastyczne metody przeznaczone do obliczania wartości przewidywanych i statystyk resztowych dla obserwacji (1) które nie były wykorzystywane w trakcie obliczeń mających na celu dopasowanie modelu, a dla których dysponujemy obserwowanymi wartościami zmiennych zależnych (jest to tzw. próba do oceny krzyżowej) oraz (2), które nie były wykorzystywane w trakcie obliczeń mających na celu budowę modelu lecz brak danych o zmiennych zależnych (próba do prognozowania).

Indeks

Rodzaje analiz

Układ wybrany do analizy może zawierać zarówno efekty dla zmiennych o charakterze ciągłym jak i efekty dla predyktorów jakościowych . Układy mogą zawierać wielomiany dla predyktorów ciągłych (np. ze składnikami kwadratowymi lub sześciennymi) jak również efekty interakcyjne (np. składniki z iloczynami efektów). W przypadku predyktorów jakościowych można dopasowywać układy typu ANOVA, w tym układy czynnikowe kompletne, układy zagnieżdżone, układy czynnikowe frakcyjne (ułamkowe), itp. Analizowane układy mogą być układami niekompletnymi (tzn. dopuszczającymi występowanie podklas o brakujących danych) a efekty dla predyktorów jakościowych mogą być przedstawiane za pomocą parametryzacji z sigma-ograniczeniami lub za pomocą modelu przeparametryzowanego (zmiennej wskaźnikowej).

Zamieszczone poniżej tematy zawierają pełny opis układów, które mogą być analizowane za pomocą regresji metodą cząstkowych najmniejszych kwadratów, jak również układów możliwych do analizy za pomocą ogólnego modelu liniowego.

Układy międzygrupowe

Wstęp. Poziomy lub wartości zmiennych objaśniających (predyktorów) uwzględnionych w analizie opisują różnice pomiędzy n obiektami lub n poprawnymi przypadkami, które są analizowane. A zatem mówiąc o analizie układu porównań międzygrupowych (układu międzygrupowego), odwołujemy się do charakteru, liczby i sposobu rozmieszczenia zmiennych objaśniających (predyktorów).

Biorąc pod uwagę charakter lub rodzaj zmiennych objaśniających, układy międzygrupowe zawierające tylko predyktory jakościowe (skategoryzowane) mogą być nazywane układami ANOVA (analizy wariancji), układy międzygrupowe zawierające tylko zmienne objaśniające ciągłe mogą być nazywane układami (modelami) regresji, a układy międzygrupowe zawierające zarówno predyktory jakościowe, jak i ciągłe, mogą być określane terminem układy ANCOVA (analizy kowariancji). Ponadto zmienne objaśniające ciągłe są traktowane tak, jakby miały ustalone wartości, natomiast poziomy zmiennychobjaśniających jakościowych mogą posiadać zarówno wartości ustalone, jak i losowe. Układy zawierające czynniki jakościowe losowe są nazywane układami mieszanymi (zob. rozdział Komponenty wariancyjne i model mieszany ANOVA/ANCOVA ).

Układy międzygrupowe mogą wymagać pojedynczej zmiennej objaśniającej i wówczas są opisywane jako proste (np. regresja prosta) albo zawierają wiele zmiennych objaśniających (np. regresja wieloraka ).

Biorąc pod uwagę sposób rozmieszczenia zmiennych objaśniających (obiektów) w obrębie układu, niektóre układy dotyczą tylko efektu głównego lub składników pierwszego rzędu, tak więc wartości różnych zmiennych objaśniających są niezależne i występują tylko w pierwszej potędze (model addytywny). Inne układy międzygrupowe mogą zawierać składniki wyższego rzędu dla zmiennych objaśniających poprzez podniesienie oryginalnych wartości zmiennych objaśniających do potęgi o wykładniku wyższym niż 1 (np. w układach regresji wielomianowej) lub utworzenie iloczynów zawierających różne kombinacje zmiennych objaśniających (tzn. składniki interakcji ). Często występującym sposobem rozmieszczenia czynników w układach ANOVA jest układ czynnikowy kompletny, w przypadku którego w układzie są reprezentowane wszystkie kombinacje poziomów każdego z predyktorów jakościowych (skategoryzowanych). Układy zawierające jedynie wybrane kombinacje poziomów dla każdego z predyktorów jakościowych (skategoryzowanych) są trafnie nazywane układami (planami) czynnikowymi ułamkowymi. Z kolei układy, w których występuje określona hierarchia kombinacji poziomów różnych predyktorów jakościowych (skategoryzowanych) są nazywane układami zagnieżdżonymi .

Te podstawowe różnice dotyczące charakteru, liczby i sposobu rozmieszczenia zmiennych objaśniających można wykorzystać do opisu całej gamy różnych typów układów międzygrupowych. Niektóre z bardziej powszechnych układów międzygrupowych zostaną teraz opisane.

Jednoczynnikowa ANOVA. Układ zawierający jeden predyktor jakościowy (skategoryzowany) jest nazywany układem jednoczynnikowej ANOVA. Przykładowo: badanie czterech różnych nawozów stosowanych do czterech różnych pojedynczych sadzonek mogłoby zostać przeanalizowane za pomocą jednoczynnikowej ANOVA z czterema poziomami czynnika Nawóz.

Weźmy pod uwagę jeden predyktor jakościowy (skategoryzowany) A zawierający po jednym przypadku w obrębie każdej z trzech kategorii. Stosując sposób kodowania zmiennej A z sigma-ograniczeniami w postaci 2 ilościowych zmiennych zawierających kontrasty, otrzymamy macierz X definiującą układ międzygrupowy

Tak więc wszystkim przypadkom w obrębie grup A1, A2 i A3 przypisano 1 w kolumnie X0 (wyraz wolny), przypadkowi należącemu do grupy A1 przypisano 1 w obrębie kolumny X1 oraz 0 w obrębie kolumny X2, przypadkowi należącemu do grupy A2 przypisano 0 w obrębie kolumny X1 oraz 1 w obrębie kolumny X2, a przypadkowi należącemu do grupy A3 przypisano -1 w obrębie kolumny X1 oraz -1 w obrębie kolumny X2. Oczywiście dowolne dodatkowe przypadki w obrębie dowolnej z trzech grup zostałyby zakodowane w podobny sposób. Jeśli w grupie A1 występowałby 1 przypadek, w grupie A2 2 przypadki oraz 1 przypadek w grupie A3 wówczas macierz X miałaby postać:

gdzie pierwszy indeks dla zmiennej A podaje liczbę powtórzeń przypadku w każdej z grup. Dla zwięzłości zapisu liczby powtórzeń zazwyczaj nie są pokazywane przy opisie macierzy eksperymentu ANOVA.

Zauważmy, że w przypadku układów jednoczynnikowych o jednakowych liczbach przypadków w obrębie każdej z grup, kodowanie z sigma-ograniczeniami prowadzi do X1 ,..., Xk zmiennych, z których każda ma średnią równą 0.

W przypadku wykorzystania do przedstawienia czynnika A modelu przeparametryzowanego otrzymujemy prostą postać macierzy X definiującej układ międzygrupowy:

Te proste przykłady pokazują, że macierz X służy właściwie do dwóch celów. Definiuje ona (1) sposób kodowania poziomów oryginalnych predyktorów w postaci wykorzystywanych w analizie zmiennych X, jak również (2) charakter, liczbę i sposób rozmieszczenia zmiennych X, tzn. układ międzygrupowy.

ANOVA efektów głównych. Układy ANOVA efektów głównych zawierają oddzielne układy jednoczynnikowej ANOVA dla dwóch lub większej liczby predyktorów jakościowych (skategoryzowanych). Dobrym przykładem układu ANOVA efektów głównych byłaby typowa analiza przeprowadzana w oparciu o plany eliminacyjne , jak to zostało przedstawione w rozdziale Planowanie doświadczeń .

Weźmy pod uwagę dwa predyktory jakościowe (skategoryzowane) A i B, z których każdy posiada po dwie kategorie. Stosując sposób kodowania zmiennej z sigma-ograniczeniami , otrzymamy macierz X definiującą układ międzygrupowy o postaci:

Zauważmy, że przy równych licznościach przypadków w każdej z grup suma iloczynów mieszanych wartości dla kolumn X1 i X2 wynosi 0. Przykładowo: gdy mamy do czynienia z 1 przypadkiem w każdej z grup, wówczas otrzymujemy: (1*1)+(1*-1)+(-1*1)+(-1*-1)=0. W przypadku modelu przeparametryzowanego otrzymujemy następującą macierz X definiującą układ międzygrupowy:

Porównując obydwa typy kodowania, można zauważyć, że sposób kodowania wykorzystujący model przeparametryzowany wymaga prawie dwa razy więcej wartości do zapisania tej samej informacji niż kodowanie z sigma-ograniczeniami .

ANOVA dla układów czynnikowych. Układy doświadczalne, w których stosowana jest ANOVA dla układów czynnikowych, zawierają zmienne X reprezentujące kombinacje poziomów dwóch lub większej liczby predyktorów jakościowych (skategoryzowanych) (np. badania dotyczące chłopców i dziewcząt w czterech grupach wiekowych, dające w rezultacie układ 2 (Płeć) x 4 (Grupa wieku)). W szczególności układy czynnikowe kompletne przedstawiają wszystkie możliwe kombinacje poziomów predyktorów jakościowych (skategoryzowanych). Układ czynnikowy kompletny z dwoma predyktorami jakościowymi (skategoryzowanymi) A i B, z których każdy zawiera po dwa poziomy, zostałby nazwany układem czynnikowym kompletnym 2 x 2. Stosując sposób kodowania zmiennej z sigma-ograniczeniami , otrzymamy macierz X definiującą ten układ:

Kilka własności powyższej macierzy X zasługuje na komentarz. Zauważmy, że kolumny X1 oraz X2 reprezentują kontrasty dotyczące efektów głównych dla jednej zmiennej (tzn. odpowiednio A i B), rozmieszczone względem poziomów drugiej zmiennej. Natomiast kolumna X3 reprezentuje kontrast pomiędzy różnymi kombinacjami poziomów zmiennych A i B. Zauważmy również, że wartości występujące w kolumnie X3 są iloczynami odpowiednich wartości występujących w kolumnach X1 oraz X2. Zmienne, których zawartość stanowi iloczyn, np. zmienna X3 reprezentują efekty multiplikatywne lub efekty interakcji czynników, dlatego też zmienna X3 będzie traktowana jako reprezentująca dwuczynnikową interakcję czynników A i B. Powiązanie takiej zmiennej ze zmiennymi zależnymi oznacza interakcyjny wpływ czynników na zmienne zależne, oprócz ich niezależnych wpływów (wyrażonych poprzez efekty główne) na zmienne zależne. Tak więc układy czynnikowe dostarczają więcej informacji na temat związków pomiędzy predyktorami jakościowymi (skategoryzowanymi) a odpowiedziami zmiennych zależnych , niż to ma miejsce w przypadku odpowiednich układów jednoczynnikowych lub układów efektów głównych.

Jednakże gdy bierzemy pod uwagę wiele czynników, wówczas układy czynnikowe kompletne czasami wymagają więcej danych, niż możemy w sposób rozsądny zebrać w celu przedstawienia wszystkich możliwych kombinacji poziomów czynników i w związku z tym interakcje wyższych rzędów pomiędzy wieloma czynnikami mogą stać się trudne do interpretacji. W przypadku wielu czynników, użyteczną alternatywą w stosunku do układu czynnikowego kompletnego jest układ czynnikowy frakcyjny (ułamkowy). Rozważmy przykładowo układ czynnikowy frakcyjny 2 x 2 x 2 z dwuczynnikowymi interakcjami i z trzema predyktorami jakościowymi (skategoryzowanymi), z których każdy zawiera 2 poziomy. Układ zawierałby efekty główne dla każdej zmiennej oraz wszystkie dwuczynnikowe interakcje pomiędzy trzema zmiennymi, ale nie zawierałby trójczynnikowych interakcji pomiędzy wszystkimi trzema zmiennymi. Wykorzystując model przeparametryzowany można macierz X dla tego układu przedstawić w następującej postaci:

Dwuczynnikowe interakcje są efektami najwyższego stopnia uwzględnionymi w tym układzie. Te typy układów (planów) zostały szczegółowo omówione w części rozdziału Planowanie doświadczeń , zatytułowanym Plany frakcyjne dwuwartościowe 2(k-p) .

Układy zagnieżdżone ANOVA. Układy zagnieżdżone są podobne do planów frakcyjnych , ponieważ wszystkie możliwe kombinacje poziomów predyktorów jakościowych (skategoryzowanych) nie są reprezentowane w układzie. Jednakże w przypadku układów zagnieżdżonych pominięte efekty stanowią efekty niższego rzędu. Efekty zagnieżdżone są efektami, w obrębie których zmienne zagnieżdżone nie pojawiają się nigdy jako efekty główne. Przypuśćmy, że w przypadku dwóch zmiennych A i B, zawierających odpowiednio 3 i 2 poziomy, układ zawiera efekt główny dla A oraz efekt B zagnieżdżony w obrębie poziomów zmiennej A. Wykorzystując model przeparametryzowany , możemy macierz X dla tego układu przedstawić w postaci:

Zauważmy, że w przypadku kodowania z sigma-ograniczeniami w macierzy X byłyby tylko 2 kolumny dla czynnika B zagnieżdżonego w obrębie efektu A, zamiast 6 kolumn dla tego efektu w macierzy X w sytuacji, gdybyśmy zastosowali do kodowania model przeparametryzowany (tzn. kolumny od X4 do X9). Metoda kodowania z sigma-ograniczeniami jest zbytnio ograniczona dla układów zagnieżdżonych , dlatego do reprezentowania układów zagnieżdżonych jest stosowany tylko model przeparametryzowany .

Regresja prosta. Układy (modele) regresji prostej wymagają pojedynczej zmiennej objaśniającej (predyktora) o charakterze ciągłym. Gdybyśmy mieli 3 przypadki z wartościami zmiennej objaśniającej P wynoszącymi powiedzmy 7, 4 i 9 i układ zawierałby efekt pierwszego rzędu dla P, wówczas macierz X miałaby postać:

a wprowadzając P dla X1 równanie regresji miałoby postać:

Y = b0 + b1P

Jeśli model regresji prostej ma zawierać efekt wyższego rzędu dla P, powiedzmy efekt kwadratowy, wówczas wartości w kolumnie X1 macierzy układu zostałyby podniesione do potęgi drugiej, tzn. do kwadratu.

a wprowadzając zapis P2 dla X1 równanie regresji miałoby postać:

Y = b0 + b1P2

Metoda kodowania z sigma-ograniczeniami i sposób kodowania wykorzystujący model przeparametryzowany nie mają zastosowania do modeli regresji prostej ani do innych układów zawierających tylko predyktory ciągłe (ponieważ nie występują w nich predyktory jakościowe (skategoryzowane). Wartości dotyczące predyktorów ciągłych są podnoszone do wymaganej potęgi i wykorzystywane jako zmienne X. Nie jest przeprowadzane żadne kodowanie. Dlatego też przy opisie modeli regresji wystarcza prosty opis równania regresji bez wyraźnego opisywania macierzy eksperymentu X.

Regresja wieloraka. Układy regresji wielorakiej są dla predyktorów ciągłych tym, czym układy ANOVA efektów głównych są dla zmiennych będących predyktorami jakościowymi (skategoryzowanymi), tzn. układy regresji wielorakiej zawierają oddzielne układy regresji prostej dla dwóch lub większej liczby predyktorów ciągłych. Równanie regresji dla modelu regresji wielorakiej zawierającej efekty pierwszego stopnia trzech predyktorów o charakterze ciągłym P, Q i R miałoby postać:

Y = b0 + b1P + b2Q + b3R

Regresja czynnikowa. Układy regresji czynnikowej są podobne do układów czynnikowych ANOVA , w których występują kombinacje poziomów czynników występujących w układzie. Jednakże w przypadku układów regresji czynnikowej może występować o wiele więcej takich możliwych kombinacji odrębnych poziomów zmiennych objaśniających (predyktorów) niż przypadków w zbiorze danych. Upraszczając rzecz, modele regresji czynnikowej kompletnej są definiowane jako układy, w których występują wszystkie możliwe iloczyny predyktorów. Przykładowo: model regresji czynnikowej kompletnej dla dwóch zmiennych objaśniających P i Q zawierałby efekty główne P i Q oraz ich dwuczynnikową (P x Q) interakcję , która jest reprezentowana przez iloczyn wyników P i Q dla każdego przypadku. Równanie regresji miałoby postać:

Y = b0 + b1P + b2Q + b3P*Q

Modele regresji czynnikowej mogą mieć charakter frakcyjny, tzn. efekty wyższego rzędu mogą być pomijane w modelu. Model regresji czynnikowej frakcyjnej do drugiego stopnia dla 3 ciągłych predyktorów P, Q i R zawierałby efekt główny oraz wszystkie dwuczynnikowe interakcje pomiędzy predyktorami:

Y = b0 + b1P + b2Q + b3R + b4P*Q + b5P*R + b6Q*R

Regresja wielomianowa. Modele regresji wielomianowej są układami, które zawierają efekty główne oraz efekty wyższego rzędu dla predyktorów ciągłych, ale nie uwzględniają efektów interakcji pomiędzy predyktorami ciągłymi. Przykładowo: model regresji wielomianowej stopnia drugiego dla trzech predyktorów ciągłych P, Q i R zawierałby efekty główne (tzn. efekty pierwszego rzędu) dla P, Q i R oraz ich efekty kwadratowe (tzn. drugiego rzędu), ale bez efektów dwuczynnikowej interakcji oraz bez efektu trójczynnikowej interakcji P x Q x R.

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2

Modele regresji wielomianowej nie muszą zawierać wszystkich efektów do tego samego stopnia dla każdej zmiennej objaśniającej (predyktora). Na przykład efekt główny, kwadratowy i sześcienny mogłyby zostać uwzględnione w modelu dla niektórych efektów, a efekty powyżej czwartego stopnia mogłyby zostać uwzględnione dla pozostałych predyktorów.

Regresja powierzchni odpowiedzi. Modele kwadratowej regresji powierzchni odpowiedzi stanowią typ układu hybrydowego, posiadającego cechy zarówno modeli regresji wielomianowej , jak również modeli designs and regresji czynnikowej . Modele te zawierają wszystkie efekty modeli regresji wielomianowej do stopnia drugiego oraz dodatkowo efekty dwuczynnikowej interakcji zmiennych objaśniających. Równanie regresji dla modelu kwadratowej regresji powierzchni odpowiedzi dla trzech zmiennych objaśniających ciągłych P, Q i R miałoby postać:

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2 + b7P*Q + b8P*R + b9Q*R

Tego rodzaju układy są zazwyczaj wykorzystywane w badaniach stosowanych (np. w doświadczeniach przeprowadzanych w przemyśle). Dokładne omówienie tych typów układów zostało także przedstawione w rozdziale Planowanie doświadczeń (patrz Plany centralne kompozycyjne ).

Analiza kowariancji. Układy międzygrupowe, zawierające zarówno predyktory jakościowe, jak i ciągłe, określa się zazwyczaj terminem układy ANCOVA (analizy kowariancji). Jednakże tradycyjnie termin układy ANCOVA odnosił się do układów, w których przy ocenie efektów jednego lub wielu predyktorów jakościowych (skategoryzowanych) bierze się pod uwagę efekty pierwszego rzędu jednego lub wielu predyktorów o charakterze ciągłym. Wprowadzenie do zagadnienia analizy kowariancji można również znaleźć w temacie Analiza kowariancji (ANCOVA) zamieszczonym we wprowadzeniu do rozdziału ANOVA/MANOVA .

Dla przykładu przypuśćmy, że badacz chce ocenić wpływ predyktora jakościowego (skategoryzowanego) zawierającego trzy poziomy na pewien wynik. Dodatkowo wiadomo, że z tymi wynikami związane są także pewne inne pomiary zmiennej ciągłej P (zwanej też zmienną towarzyszącą):

wówczas macierz X z sigma-ograniczeniami dla układu, który zawiera oddzielne efekty pierwszego rzędu zmiennych P i A, miałaby postać:

Współczynniki b2 oraz b3 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3

przedstawiają wpływy przynależności grupowej na zmienną będącą predyktorem jakościowym (skategoryzowanym), przy uwzględnieniu wpływu wyników na zmienną P będącą predyktorem o charakterze ciągłym. Podobnie współczynnik b1 reprezentuje wpływ wyników na P przy uwzględnieniu wpływów przynależności grupowej na A. Ta tradycyjna analiza ANCOVA daje bardziej wrażliwy test wpływu A do stopnia, w jakim P redukuje błąd prognozy, tzn. reszty dla zmiennej wynikowej.

Macierz X dla tego samego układu, ale przy zastosowaniu modelu przeparametryzowanego , miałaby postać:

Interpretacja nie ulega zmianie za wyjątkiem tego, że wpływy przynależności grupowej na zmienną A, będącą predyktorem jakościowym (skategoryzowanym), są reprezentowane w równaniu regresji przez współczynniki b2, b3 oraz b4.

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4

Model różnych nachyleń. Tradycyjny układ analizy kowariancji (ANCOVA) dla predyktorów jakościowych i ciągłych jest nieodpowiedni w sytuacji, gdy predyktory jakościowe i ciągłe wchodzą w interakcje we wpływie na odpowiedzi zmiennych wynikowych. Odpowiedni układ służący do odzwierciedlenia wpływów predyktorów w tej sytuacji jest nazywany układem różnych nachyleń. Jeśli wykorzystamy ten sam przykład danych, który został użyty do zilustrowania tradycyjnego układu ANCOVA, wówczas przeparametryzowana macierz X dla układu, zawierającego efekt główny predyktora jakościowego A o trzech poziomach oraz dwuczynnikową interakcję P x A miałaby postać:

Współczynniki b4, b5, oraz b6 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5 + b6X6

wyrażają oddzielne współczynniki kierunkowe dla regresji wyników względem P w obrębie każdej z grup na A, uwzględniając efekt główny A.

Podobnie jak w przypadku układów zagnieżdżonych ANOVA, sposób kodowania efektów z sigma-ograniczeniami dla układów o różnych nachyleniach jest zbyt restrykcyjny, stąd też do przedstawiania układów różnych nachyleń jest wykorzystywany tylko model przeparametryzowany . W rzeczywistości układy różnych nachyleń nie różnią się formą od układów zagnieżdżonych ANOVA, ponieważ w przypadku układów różnych nachyleń pomijane są efekty główne dla predyktorów o charakterze ciągłym.

Model jednakowych nachyleń. Odpowiedni układ wykorzystywany do modelowania wpływów predyktorów jakościowych i ciągłych zależy od tego, czy współdziałają one ze zmienną wynikową (obserwowaną). Tradycyjna analiza kowariancji (ANCOVA) jest niewłaściwa w sytuacji, kiedy predyktory ciągłe i predyktory jakościowe nie współdziałają ze sobą we wpływie na obserwowaną zmienną. Natomiast układ różnych nachyleń jest właściwy wtedy, gdy predyktory ciągłe i predyktory jakościowe współdziałają ze zmienną zależną (obserwowaną). Układy jednakowych nachyleń mogą być wykorzystywane do testowania, czy predyktory jakościowe i ciągłe współdziałają ze zmienną wynikową (obserwowaną), a zatem czy tradycyjny układ ANCOVA lub układ różnych nachyleń jest odpowiedni w przypadku modelowania wpływów efektów. Jeśli wykorzystamy te same dane przykładowe, które użyto do zilustrowania tradycyjnego układu ANCOVA oraz układów różnych nachyleń , wówczas przeparametryzowana macierz X dla układu zawierającego efekt główny P, efekt główny predyktora jakościowego A o trzech poziomach oraz dwuczynnikową interakcję P x A miałaby postać:

Jeśli współczynniki b5, b6, lub b7 występujące w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5 + b6X6 + b7X7

różnią się od zera, wówczas powinno się zastosować model różnych nachyleń. Jeśli natomiast wszystkie trzy współczynniki regresji są równe zero, wtedy należy zastosować tradycyjny układ ANCOVA.

Macierz X w przypadku modelu z sigma-ograniczeniami dla układu jednakowych nachyleń miałaby postać:

Stosując macierz X w przypadku, gdy współczynnik b4 lub b5 w równaniu regresji

Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 + b5X5

różni się od zera, należy wykorzystać model różnych nachyleń. Natomiast kiedy obydwa współczynniki są równe zeru, należy wykorzystać tradycyjne podejście ANCOVA.

Wykresy odległości

W analizie cząstkowych najmniejszych kwadratów, przydatną techniką graficzną są wykresy odległości. Umożliwiają one obliczenie i wykreślenie odległości (w sensie odległości euklidesowej, w stosunku do początku układu, tzn. od miejsca w którym wartości dla wszystkich wymiarów są równe zero), dla statystyk wartości przewidywanych i reszt, ładunków i wag przy danej liczbie składowych.

Te wykresy obserwacji mogą być pomocne przy identyfikacji najważniejszych zmiennych wpływających na wartość prognozy rozważanych zmiennych (wykreślając wagi) jak również obserwacje odstające, które mają nieproporcjonalnie duży wpływ na wyniki (wykreślając wartości resztowe).
Indeks





© Copyright StatSoft, Inc., 1984-2024
STATISTICA is a trademark of StatSoft, Inc.