Co nowego w wersji 12 Statistica


Wprowadzenie

Lepiej, więcej, szybciej


Wybuchowa mieszanka Big Data, rozwoju możliwości przechowywania danych i postępu technologicznego nieodwracalnie zmieniła współczesny świat analizy danych. Stosowanie narzędzi analizy danych i wspomagania podejmowania decyzji nie jest już domeną statystyków, inżynierów oraz informatyków. Przeciwnie, analiza danych stała się częścią codziennej pracy, wykorzystywaną w różnych dziedzinach przez kierowników projektów, analityków biznesowych, opiekunów klienta, osoby zarządzające zasobami i prognozujące sprzedaż. Potrzebują oni wiarygodnej informacji, dającej podstawy do podejmowania skutecznych działań. Osoby takie potrzebują graficznego środowiska do tworzenia, przeglądania i udostępniania wskaźników, wykresów, raportów itp.

Aby stawić czoła tym zmianom, uczyniliśmy Statistica jeszcze szybszą, bardziej elastyczną i funkcjonalną:

  • Zwiększyliśmy wydajność przetwarzania dużych zbiorów danych przez całą rodzinę programów.
  • Do wszystkich programów dodaliśmy nowe graficzne narzędzie do tworzenia złożonych zapytań SQL: Zaawansowany konstruktor zapytań.
  • Od nowa opracowaliśmy graficzne przestrzenie robocze w Statistica Enterprise i Data Miner, aby zapewnić bardziej intuicyjną obsługę i większe możliwości interakcyjnego zarządzania scenariuszami analiz, aby ułatwić użytkownikom zrozumienie i rozpowszechnianie wyników.
  • Udoskonaliliśmy rozwiązanie do predykcji i wdrażania modeli Statistica Decisioning Platform.
  • Opracowaliśmy Statistica Reporting Tables – elastyczne narzędzie do interakcyjnego tworzenia tabel podsumowujących umieszczanych w raportach i prezentacjach.
  • Przygotowaliśmy nowe węzły przestrzeni roboczej, takie jak Raport ze sprawdzenia jakości danych, umożliwiający diagnostykę i oczyszczenie wielu zmiennych.

Zbudowana na ponad trzydziestoletnim dziedzictwie badań i rozwoju Statistica 12 dostarcza ciągle rozwijającej się dziedzinie analizy danych szerokiej gamy użytecznych funkcji. Dzięki wprowadzonym w wersji 12 udoskonaleniom nasze rozwiązania analityczne stały się jeszcze szybsze, bardziej dostępne dla użytkowników i wydajne.

Nasze rozwiązania dostosowują się do struktury IT lepiej niż inne produkty do zaawansowanej analizy danych. Statistica 12 lepiej wykorzystuje istniejące składnice danych i środowisko IT niż którakolwiek wcześniejsza wersja, a co za tym idzie przybliża osiągnięcie znaczącego zwrotu z inwestycji (ROI).

 

Wszystkie składniki


Zaawansowany konstruktor zapytań

Zaawansowany konstruktor zapytań ułatwia tworzenie złożonych zapytań pobierających dane z baz danych. Zapytania tworzymy w środowisku graficznym za pomocą techniki przeciągnij i upuść.

Zaawansowany konstruktor zapytań ma funkcje zazwyczaj dostępne wyłącznie w specjalistycznych narzędziach. Umożliwia tworzenie złączeń typu left, right i full outer join, tworzenie zapytań z funkcjami agregującymi, z operacjami union i minus. Program graficznie prezentuje złożone zapytania i diagramy ER. Ponadto umożliwia zmianę dialektu SQL, gdy stosowanie standardowego dialektu jest niepraktyczne.

Udoskonalenia arkusza

Nowy format pliku dla lepszej obsługi dużych zbiorów danych

W Statistica 12 wprowadzono nowy format plików zoptymalizowany do przetwarzania dużych zbiorów danych, poprzez zastosowanie zmiennej długości zapisu danych tekstowych. W przypadku zmiennych zawierających teksty o bardzo różnej długości lub z częstymi brakami danych pozwala to znacząco zredukować wielkość pliku i uzyskać znacznie lepszą wydajność.

Wirtualne zmienne arkusza

Arkusze mogą teraz zawierać zmienne wirtualne określone poprzez formułę, niewymagające zapisu, a obliczane przy uruchomieniu przetwarzania. Zmienne wirtualne są dodawane i usuwane w tle bez konieczności zapisywania całego arkusza, tak że użytkownik zauważa tylko przyrost wydajności. Nowe dane zapisywane są jako osobny wektor na dysku i dołączane do arkusza przy jego zapisie. Dzięki temu czas wykonywania przekształceń na dużych arkuszach jest znacząco mniejszy.

Udoskonalona obsługa etykiet tekstowych

Arkusze obecnie obsługują miliony różnych przypisań liczba – etykieta tekstowa, a dodatkowo usprawniono wyszukiwanie etykiet i liczb. Dzięki temu dobrym sposobem przechowywania zmiennych tekstowych przyjmujących wiele różnych wartości stały się zmienne liczbowe z etykietami tekstowymi, ponieważ wymagają one mniej miejsca w pamięci.

Funkcje agregujące providera OLE DB dla arkuszy Statistica

Provider OLE DB dla arkuszy Statistica umożliwia teraz wykorzystanie funkcji agregujących, takich jak: average, count, max, min, sum.

Wizualizacja danych

W nowej wersji wprowadziliśmy nowe możliwości i narzędzia wizualizacji danych:

  • Dopasowanie ortogonalne na wykresach rozrzutu 2W.
  • Możliwość podpisywania punktów na wykresach.
  • Nowe możliwości sterowania skalowaniem wykresów złożonych.
  • Tworzenie podzbiorów danych poprzez wskazanie punktów na wykresie w trybie wyróżniania (graficznej eksploracji danych).
  • Udoskonalone opisywanie skali dla zmiennych typu data i czas.
  • Możliwość zmiany marginesów wszystkich wykresów złożonych.
  • Ułatwione tworzenie wykresu Pareto.
  • Nowy rodzaj wykresu: wykres o współrzędnych równoległych (ang. parallel coordinate plot). Pokazuje on wartości wielu zmiennych na porównywalnych skalach, ułatwiając w ten sposób wykrywanie wzorców (zob. poniżej). Na wykresie każda z osi Y odpowiada innej zmiennej, można na nim dodatkowo nanieść przedziały docelowych wartości i stosować różne standaryzacje.

Statystyka

FDR (False Discovery Rate)

Dodaliśmy funkcję obliczającą wartości FDR (False Discovery Rate) i Q. FDR obliczany jest według metody Benjamina–Hochberga, a wartości Q zgodnie z artykułem „A direct approach to false discovery rates” John D. Storey, J. R. Statist. Soc. B (2002).

Nowe rozkłady

Dodaliśmy obsługę nowych rozkładów w Kalkulatorze prawdopodobieństwa, funkcjach Statistica VB oraz formułach arkusza. Są to: rozkład hipergeometryczny, odwrotny Poissona i odwrotny dwumianowy.

Interakcyjny konstruktor modeli (Statistica Pakiet Zaawansowany)

W Interakcyjnym konstruktorze modeli użytkownik steruje procesem tworzenia modelu i może prowadzić badania „co jeśli”. Jest on użyteczny, gdy dane zawierają wiele powiązanych zmiennych a chcemy mieć pełną kontrolę nad doborem zmiennych do modelu.

Rozkład ujemny dwumianowy w Uogólnionym modelu liniowym (Statistica Pakiet Zaawansowany)

W module GLZ można teraz tworzyć modele dla rozkładu ujemnego dwumianowego zmiennej zależnej.

Karty kontrolne ( Statistica QC)

Obszary kart kontrolnych w obrębie granic ostrzegawczych, poza granicami ostrzegawczymi, ale w obrębie granic kontrolnych i poza nimi mogą mieć teraz różny kolor tła.

Inne

Wstążka na wzór Microsoft Office 2010.

Statistica 12 wykorzystuje wstążkę podobną do używanej w Microsoft Office 2010.

Wyszukiwarka funkcji

W wersji 12 użytkownik może wyszukiwać moduły i funkcje po nazwie i uruchamiać je. Wyszukiwarka indeksuje wszystkie polecenia wstążki i wyświetla je alfabetycznie. Po wpisaniu frazy w polu wyszukiwania, na liście pokazywane są tylko te pozycje, które pasują do wpisanej frazy. Po wybraniu pozycji z listy klikamy OK, aby uruchomić odpowiednią pozycję.

Obsługa wysokiej rozdzielczości

Począwszy od Windows Vista Microsoft ułatwił korzystanie z wyższej rozdzielczości w środowisku Windows. W Windows 7 wyższa rozdzielczość (120 DPI) jest domyślna. W wersji 12 wprowadziliśmy obsługę tej rozdzielczości.

Udoskonalenie przestrzeni roboczej

Przestrzeń robocza została udoskonalona w celu ułatwienia obsługi i polepszenia wydajności, zwłaszcza w obsłudze bardzo dużych zbiorów danych.

Wersja 12 zawiera system nowych węzłów o udoskonalonym środowisku, bliżej odpowiadającym interakcyjnemu środowisku użytkownika. Poprzednie węzły są nadal dostępne dla zachowania zgodności z wcześniejszymi wersjami.

Ułatwiony import plików Excel

W Statistica 12 można teraz określać zakres danych wczytywanych z Excela, używając liter dla kolumn i numerów dla wierszy.

Możliwość ta jest dostępna również w przestrzeni roboczej w węźle Import pliku Excel. Węzeł ten pozwala wczytywać dane z plików Excel w ramach scenariusza przetwarzania określonego w przestrzeni roboczej.

Udoskonalenia analityczne

Sprawdzenie jakości danych

Nowy węzeł Sprawdzenie jakości danych jest dostępny w wersji 12 dla wszystkich użytkowników Statistica Data Miner. Węzeł ten wykrywa najczęstsze problemy występujące w danych, wykonuje czyszczenie danych i tworzy raport z jakości i czyszczenia danych, pomocny przy ocenie jakości danych i przygotowaniu ich do analizy. Węzeł jest szczególnie użyteczny do automatycznego badania wielu zmiennych.

Analiza czułości dla drzew decyzyjnych

Dzięki nowej funkcji – analizie czułości – użytkownik może dowiedzieć się więcej o węzłach drzewa decyzyjnego i wykorzystać tę wiedzę do zmiany podziałów drzewa.

Podział Twoing dla zmiennych porządkowych

Nowy sposób tworzenia drzew dla zmiennych zależnych porządkowych, np. przyjmujących wartości typu niski, średni, wysoki.

Dobór predyktorów

Nowa metoda doboru predyktorów. Stanowi ona pierwszy krok badania wpływu predyktorów.

Współpraca z bazami danych

Możliwość tworzenia kodu funkcji użytkownika dla bazy Teradata w celu wykonywania skoringu w bazie danych. Dostępne w Statistica Data Miner z generatorem kodu.

Przestrzeń robocza

W wersji 12 w Statistica Enterprise dostępne są przestrzenie robocze, umożliwiające graficzne określanie scenariuszy analizy („rysowanie projektu”), we wcześniejszych wersjach dostępne jedynie w Statistica Data Miner. Ponadto przestrzeń robocza została udoskonalona w celu ułatwienia obsługi i polepszenia wydajności zwłaszcza w obsłudze bardzo dużych zbiorów danych.

Wersja 12 zawiera system nowych węzłów, które wraz udoskonalonym środowiskiem odpowiadają interakcyjnemu środowisku użytkownika. Poprzednie węzły są nadal dostępne dla zachowania zgodności z wcześniejszymi wersjami.

Ułatwiony import plików Excel

Statistica 12 zawiera nowy węzeł Import pliku Excel. Za jego pomocą można wczytywać dane z plików Excel w ramach scenariusza przetwarzania określonego w przestrzeni roboczej, a zakres danych określamy, używając terminologii Excel: liter dla kolumn i numerów dla wierszy.

Udoskonalenia analityczne

Sprawdzenie jakości danych

Nowy węzeł Sprawdzenie jakości danych jest dostępny w wersji 12 dla wszystkich użytkowników Statistica Enterprise. Węzeł ten wykrywa najczęstsze problemy, wykonuje czyszczenie danych i tworzy raport z jakości i czyszczenia danych pomocny przy ocenie jakości danych i przygotowaniu ich do analizy. Węzeł jest szczególnie użyteczny do automatycznego badania wielu zmiennych.

Raportowanie

Do raportu można wstawić zawartość wybranych komórek arkusza. W ten sposób w raporcie można umieszczać zarówno liczby, jak i teksty (także podzielone na akapity). Do raportu można wstawiać również składniki skoroszytu. Ponadto rozszerzono listę parametrów m.in. o nazwę scenariusza analitycznego i numer wersji SDMS.

Karty kontrolne

W analizach Statistica Enterprise można teraz określać różne kolory tła dla obszarów kart kontrolnych w obrębie granic ostrzegawczych, poza granicami ostrzegawczymi, ale w obrębie granic kontrolnych i poza nimi mogą mieć teraz różny kolor tła. Ustawienia kolorowania można określić w Menedżerze systemu SE.

Współpraca z bazami danych

Konfiguracje danych SVB

Konfiguracje danych SVB umożliwiają pobieranie danych ze źródeł danych, dla których brak sterowników ODBC lub dostawców OLE DB. Przykładowo analiza może dotyczyć danych z dużego, skomplikowanego pliku tekstowego, dla którego nie ma odpowiedniego sterownika ODBC lub dostawcy OLE DB. Dzięki konfiguracjom danych SVB system Statistica Enterprise jest w stanie wykorzystywać taki plik, tak jak standardowe bazy danych. Dodatkowo konfiguracje danych SVB umożliwiają uruchamianie różnych zapytań w zależności od spełnienia warunków, które można określić w ramach konfiguracji danych SVB.

Ogólne repozytorium dokumentów

W repozytorium systemu Statistica Enterprise można teraz zapisywać i odczytywać z niego dowolne pliki. Dzięki temu Statistica Enterprise umożliwia przechowywanie dokumentów Statistica i innych aplikacji, a także korzystanie z nich przez wielu użytkowników. Repozytorium systemu jest obecnie domyślnym miejscem zapisywania raportów. Dodatkowo system uwzględnia uprawnienia określone w systemach Statistica Enterprise i SDMS.

W szczególności w repozytorium można przechowywać kod SVB i SVX. We wszystkich obiektach korzystających z tych kodów, można odwołać się do skryptów zapisanych w repozytorium. Dzięki temu wystarczy zmienić kod w jednym miejscu, a system automatycznie uwzględni tę zmianę we wszystkich obiektach systemu.

Przeglądarki (Statistica Enterprise Server)

Statistica Enterprise Server obsługuje wszystkie standardowe przeglądarki: Internet Explorer, Chrome, Firefox, Safari i Opera. Ułatwia to dostęp do systemu z różnych urządzeń.

Obsługa skoroszytów (Statistica Enterprise Server)

Skoroszyty mogą być teraz współdzielone poprzez Statistica Enterprise Server Portal. Po opublikowaniu pliku udostępniany jest jego adres URL.

Wersje dokumentów (Statistica Enterprise Compliance Edition)

Statistica Enterprise Compliance Edition stanowi połączenie Statistica Enterprise i systemu przechowywania dokumentów SDMS, który bezpiecznie przechowuje dokumenty dowolnego typu, a został zaprojektowany, aby spełnić wymogi FDA 21 CFR Part 11, ustawy Sarbanes – Oxley, ISO 9000, 9001 i 140001. Nowe funkcje Statistica Enterprise Compliance Edition to łatwiejsze porównywanie wersji i otwieranie poprzednich wersji dokumentów.

Porównywanie wersji

Jeśli włączona jest współpraca z SDMS, to Menadżer systemu SE umożliwia porównywanie różnych wersji obiektów Statistica Enterprise. Każdy obiekt systemu, który podlega wersjonowaniu, ma tekstową reprezentację:

  • Konfiguracje danych – lista zapytań, typy danych i właściwości kolumn OLE DB.
  • Konfiguracje analiz SPC – zestawienie ustawień kart kontrolnych.
  • Konfiguracje analiz SVB – kod SVB.
  • Reguły – tekst reguł.
  • Model (PMML) – kod modelu w języku PMML.
  • Scenariusz analizy (przestrzeń robocza) – tekst opisujący wszystkie węzły i parametry.

Otwieranie poprzednich wersji

W systemie można otwierać w trybie tylko do odczytu poprzednie wersje tych obiektów podlegających wersjonowaniu, które można otwierać bezpośrednio w Statistica Enterprise.

Etykiety (Statistica Web Data Entry)

Etykiety mogą być teraz zapisywane w jednym lub wielu folderach systemu, co ułatwia zarządzanie nimi.

Decisioning Platform

Statistica Decisioning Platform jest zintegrowanym rozwiązaniem łączącym przygotowanie danych, analizy predykcyjne i stosowanie modeli (skoring), zarówno w trybie wsadowym jak i on-line.

WoE

Statistica WoE jest nowym produktem użytecznym w przygotowaniu predyktorów na potrzeby modelowania zmiennych binarnych (przyjmujących dwie wartości, np. tak/nie).

Konstruktor reguł

Każda organizacja podlega pewnym regułom. Częstym wyzwaniem jest uwzględnienie tych reguł w projektach analitycznych. Konstruktor reguł rozwiązuje ten problem.

Za pomocą Konstruktora reguł użytkownicy biznesowi, analitycy i programiści z łatwością tworzą, utrzymują, udostępniają i wielokrotnie stosują zestawy reguł. Dostęp do reguł określony jest przez zasady bezpieczeństwa.

Konstruktor reguł może uruchamiać różne modele dla różnych segmentów, a potem dla wyników modeli stosować następne reguły. Możliwe jest odczytywanie kodów przyczyn dla poszczególnych przewidywań, co może być kluczowe w pewnych dziedzinach, takich jak bankowość i ubezpieczenia. Wykonywanie reguł może być śledzone dla przykładowych danych, aby ułatwić wykrywanie problemów w przypadku złożonych scenariuszy.

Zestaw Medyczny

Specjalistyczny pakiet analityczny stanowiący rozszerzenie funkcjonalności programów z rodziny Statistica o narzędzia chętnie wykorzystywane w analizach biomedycznych.

Nowe moduły:

  • Propensity score matching – moduł przydatny dla osób prowadzących badania obserwacyjne bez możliwości wykonania zaplanowanego eksperymentu. Umożliwia korektę obciążenia mierzonego efektu spowodowanego nielosowym doborem do grupy interwencji i kontroli.
  • Kreator regresji liniowej – umożliwia wykonanie analizy regresji liniowej. Użytkownik może wykonywać krok po kroku kolejne etapy analizy, od transformacji i diagnostyki zmiennych, poprzez dobór predyktorów i analizę interakcji, aż po ocenę i wdrożenie modelu. W jednym kreatorze zawarto wszystkie niezbędne narzędzia diagnostyczne. Użytkownik posiada pełną kontrolę nad procesem budowy i oceny modelu.
  • Karta CUSUM ważona ryzykiem – pozwala na monitorowanie jakości procesów medycznych w trybie on-line. Narzędzie to przeznaczone jest do wewnętrznego monitorowania jakości. Umożliwia śledzenie przebiegu badanego procesu w czasie zbliżonym do rzeczywistego. Pozwala na szybkie wychwycenie niepokojących objawów (wysoka czułość) i adekwatną reakcję na zaistniałą sytuację.

Rozszerzenia istniejących modułów:

  • Moduł metaanliza
    • możliwość oceny błędu publikacji (publication bias),
  • Kreator regresji logistycznej
    • dodatkowe testy oceniające istotność modelu logistycznego,
    • interakcje dla zmiennych jakościowych dostępne niezależnie od sposobu kodowania
  • Krzywe ROC
    • indeks Youdena i analiza punktu odcięcia
    • wskaźniki IDI oraz NRI pozwalające na porównanie krzywych, gdy analizowany wskaźnik wyrażany jest w postaci prawdopodobieństwa
  • Miary powiązania/efektu tabeli 2×2
    • przedział ufności dla ilorazu szans
  • Wersja angielska

Zestaw do Analiz Marketingowych i Rynkowych

Specjalistyczny pakiet analityczny stanowiący rozszerzenie funkcjonalności programów z rodziny Statistica o narzędzia chętnie wykorzystywane w analizach marketingowych i badaniu rynku.

  • Propensity score matching – moduł przydatny dla osób prowadzących badania obserwacyjne bez możliwości wykonania zaplanowanego eksperymentu. Umożliwia korektę obciążenia mierzonego efektu spowodowanego nielosowym doborem do grupy interwencji i kontroli.
  • Rzetelność skali – moduł analizuje wymiarowość analizowanego zbioru, determinując, która z pozycji powinna wejść w skład skali. Następnie oblicza różnego rodzaju miary rzetelności skali oraz ocenia siłę dyskryminacyjną całej skali oraz poszczególnych pozycji.
  • Porządkowanie liniowe – zadaniem metod porządkowania liniowego zbioru obiektów jest uszeregowanie, czyli ustalenie kolejności obiektów lub ich zbiorów według określonego kryterium. Naszym celem jest określenie syntetycznej miary agregującej cechy obiektu, a następnie uporządkowanie na jej podstawie obiektów od „najlepszego” do „najgorszego”. Moduł oferuje szereg schematów i metryk obliczania syntetycznej miary porządkującej obiekty oraz sposobów prezentacji uzyskanych wyników.
  • Indeks KMO (Kaiser-Meyer-Olkin) oraz Test sferyczności Bartletta ułatwiające ocenę stosowalności analizy czynnikowej.
  • Wykresy dostępne w programie zostały uzupełnione o dwa nowe rodzaje:
    • Wykres mozaikowy, bardzo pomocny w wizualizacji tabel kontyngencji.
    • Wykres SPie będący odmianą wykresu kołowego, pozwalającą uwzględnić różnice w analizowanych grupach, zarówno za pomocą kątów, jak i długości promieni tworzonych wycinków.?

Rozszerzenia istniejących modułów:

  • Wielokrotne odpowiedzi
    • Przekształcanie zmiennych wielokrotnych odpowiedzi na dychotomie
  • Przekształcenia zmiennych
    • Przekodowanie wskazanych zmiennych na numer bądź zakres wartości percentyla
  • Krzywe ROC
    • Indeks Youdena i analiza punktu odcięcia
    • Wskaźniki IDI oraz NRI pozwalające na porównanie krzywych, gdy analizowany wskaźnik wyrażany jest w postaci prawdopodobieństwa
  • Miary powiązania/efektu tabeli 2×2
    • Przedział ufności dla ilorazu szans
  • Miary korelacji lub efektu
    • Możliwość tworzenia macierzy i plików macierzowych dla wskazanych miar
    • Miara V Cramera
  • Eksport do plików programu Excela
    • Nowy silnik eksportu do Excela dostępny również w wersji 64-bitowej

Zestaw Plus

Specjalistyczny pakiet analityczny stanowiący rozszerzenie funkcjonalności programów z rodziny Statistica. Zawiera w sobie wszystkie moduły Zestawu Medycznego oraz Zestawu do analiz marketingowych i rynkowych. Odnoszą się do niego wszystkie rozszerzenia i nowości opisane w kontekście wymienionych powyżej modułów.

Zestaw Skoringowy

  • Ranking predyktorów
    • Możliwość uwzględnienia braków danych jako wartości nietypowych
    • Możliwość zdefiniowania wielokryterialnych warunków wyboru predyktorów
  • Reguły i interakcje
    • Wygodny interfejs filtrowania reguł
    • Możliwość eksportu reguł do systemu Statistica Decisioning Platform
  • Dyskretyzacja zmiennych
    • Możliwość automatycznego generowania profili ryzyka dla wielu zmiennych jednocześnie
    • Nowe kryteria poszukiwania optymalnego podziału oparte na drzewach C&RT
  • Budowa tablicy skoringowej
    • Możliwość budowy modelu dla zmiennych bez przygotowanych profili ryzyka
    • Możliwość zapisu modelu w postaci reguł do systemu Statistica Decisioning Platform
  • Wersja angielska
Częstą potrzebą jest:

  • Tworzenie łatwych w percepcji zestawień dla dużych zbiorów danych.
  • Łatwe wybieranie segmentów danych (np. utworzenie raportu tylko dla wybranego regionu).

Statistica Reporting Tables to dodatkowy produkt dostępny od wersji 12. Program automatycznie porządkuje i podsumowuje dane zgodnie ze specyfikacją określoną podczas projektowania tabeli. Układ tabeli określamy interakcyjnie, przeciągając nazwy pól do odpowiedniego panelu okna Tabele raportujące: Warstwy, Nazwy wierszy i kolumn oraz Podsumowanie. Podczas projektowania tabeli dostępny jest jej podgląd, a po zakończeniu projektu tabelę uzyskujemy jednym kliknięciem myszy.

Szczegółowe informacje