Problem złych długów
Żyjemy w świecie kredytu. Współczesne przedsiębiorstwa finansują swoją działalność długoterminowymi kredytami lub obligacjami, gospodarstwa domowe zaciągają wieloletnie kredyty hipoteczne na zakup mieszkań, sieci handlowe kuszą klientów zakupami na raty, firmy telekomunikacyjne sprzedają za symboliczną złotówkę drogie aparaty telefoniczne w zamian za podpisanie umowy abonamentowej.
Spis Treści
Wprowadzenie
Artykuł pierwotnie opublikowany w "Business Intelligence Magazine" 02/2008

Banki oferują karty kredytowe z limitami wielokrotnie przekraczającymi miesięczne dochody netto właściciela karty, firmy leasingowe przekazują leasingowane dobra po opłaceniu niewielkiego odsetka ich wartości, przedsiębiorstwa użyteczności publicznej, takie jak elektrownie, elektrociepłownie, kredytują swoich odbiorców, kontynuując świadczenie dla nich usług, pomimo opóźnień w opłacaniu faktur. Wobec powyżej wspomnianej powszechności życia na kredyt, coraz częściej słyszy się o problemie złych długów. Niemożność odzyskania wierzytelności rodzi szereg niekorzystnych następstw – krótkoterminowo pogarsza płynność wierzyciela, długoterminowo powoduje jego stratę. Egzekucja zaległych należności jest procesem złożonym i czasochłonnym, a jej efekty trudno przewidywalne. Z tego względu firmy-wierzyciele coraz chętniej korzystają z możliwości, jakie otwiera outsourcing. Przybiera on zazwyczaj jedną z dwóch możliwych form: obsługi procesu windykacji albo cesji całych portfeli wierzytelności. W przypadku cesji zapłata za portfel następuje w momencie zawarcia umowy, a przychody z windykacji, nie dość, że niepewne, to na dodatek pojawiają się dopiero po pewnym czasie. Cena, jaką w tej sytuacji może zapłacić firma windykacyjna, musi uwzględnić szacowany procent odzysku, wydatki na działania windykacyjne, koszt pieniądza w czasie oraz premię za ryzyko. Właściwa kalkulacja wartości portfela jest podstawą opłacalności całego przedsięwzięcia.
Najprostsze rozwiązanie problemu wyceny polega na oszacowaniu jaki procent wierzytelności zostanie odzyskany oraz jakie wydatki będą poniesione, aby ten odzysk osiągnąć. Jak wynika z konstrukcji tego rozwiązania, nie uwzględnia ono ani wartości pieniądza w czasie, ani problemu płynności.
Kolejna możliwość to potraktowanie zakupu portfela jako projektu inwestycyjnego. Wedle tej metodologii najpierw szacuje się wszystkie przychody i wydatki w okresie od nabycia wierzytelności do zakończenia procesu windykacyjnego, następnie dyskontuje w czasie przepływy netto, a na końcu dokonuje sumowania. Kryterium opłacalności jest dodatnia wartość bieżąca netto (Net Present Value) lub odpowiednio wysoka wewnętrzna stopa zwrotu (Internal Rate of Return). Stosując powyższą metodę, koszt pieniądza odzwierciadla się w stopie dyskontowej. Można w niej zawrzeć również premię za ryzyko, niemniej jednak jej skwantyfikowanie pozostaje problematyczne.
Wreszcie, według ostatniego z prezentowanych tu podejść, oczekiwana wartość portfela jest zmienną losową, której rozkład prawdopodobieństwa estymuje się metodami ilościowymi. Dzięki temu można oszacować nie tylko oczekiwany wynik z inwestycji, ale również przeprowadzić jego analizę wrażliwości. W szczególności, jeśli znana jest cena portfela, można obliczyć prawdopodobieństwo sukcesu, czyli osiągnięcia dodatniego NPV lub (patrząc na problem z drugiej strony), wyznaczyć maksymalną cenę, jaką można zapłacić, tak aby prawdopodobieństwo sukcesu inwestycji było nie mniejsze niż satysfakcjonująca firmę wartość. Przykładowo, jeśli portfel sprzedaje się na licytacji, to dzięki takim obliczeniom wiemy, że licytując cenę stanowiącą 30% jego wartości nominalnej mamy 99% szans na dodatnie NPV, licytując 35% wartości szansa sukcesu inwestycyjnego spada do 90%, a przy cenie 40%, wynosi ona już tylko 50%. Jeśli więc firma ma strategię ograniczania ryzyka do inwestycji co najmniej 95-procentowych, to może zapłacić maksymalnie 33% wartości portfela.
Narzędzia Business Intelligence
Przestawione problemy biznesowe mogą być wydatnie wsparte specjalistycznym oprogramowaniem analitycznym. Business Intelligence, bo to o nim mowa, bazuje na trzech filarach. Pierwszy obejmuje technologie hurtowni danych umożliwiające efektywny dostęp do wielkich zbiorów danych. Najbardziej typowe narzędzia w tej grupie to kokpity menedżerskie, które raportują najważniejsze wskaźniki (Key Performance Indicators) oraz kostki OLAP (On-line Analytical Processing) przystosowane do drążenia raportów. Filar drugi, nazywany na świecie data mining, a w Polsce najczęściej znany jako eksploracja danych, to rodzina narzędzi statystyczno-matematycznych oraz metod sztucznej inteligencji, których celem jest odkrywanie wiedzy z danych zgromadzonych w hurtowni. Wreszcie ostatni z filarów Business Intelligence – optymalizacja, stanowi niejako ukoronowanie zdobyczy dwóch wcześniejszych. Dane oraz odkryte w nich prawidłowości są wykorzystywane do znajdywania najlepszych rozwiązań problemów biznesowych. Następnie rozwiązania te mogą być zastosowywane automatycznie, bądź stanowią podstawę systemu wspomagającego podejmowanie decyzji (Decision Support System).
Na obecnym etapie rozwoju Business Intelligence świadomość hurtowni danych w świecie biznesu jest już dość dobra. Nie można niestety tego powiedzieć o dwóch pozostałych filarach. Z tego względu Business Intelligence bywa niekiedy mylnie utożsamiany wyłącznie z technologiami bazodanowymi i systemami raportowymi. Nadal, w większości gałęzi gospodarki, użycie data mining lub technik optymalizacji daje znaczącą przewagę konkurencyjną. Warto więc przyjrzeć się tym metodom oraz ich zastosowaniom. Najłatwiej zrobić to na konkretnym przykładzie. Tu będzie to problem wyceny portfeli złych długów.
Metody eksploracji danych dzieli się na nadzorowane i nienadzorowane. Pierwsze zakładają istnienie konkretnych zależności w danych i służą budowaniu modeli wykorzystujących te zależności, drugie wolne są od jakichkolwiek założeń, bo ich celem jest właśnie odkrywanie wcześniej nieznanych prawidłowości. O ile ten podstawowy podział metod eksploracji danych nie budzi większych sporów teoretycznych, o tyle odnośnie dalszej ich systematyki, nie wypracowano jeszcze jednoznacznego konsensusu. Tu przyjęto rozwiązanie zaczerpnięte z klasycznej już książki Data Mining Techniques.
Nadzorowana eksploracja danych obejmuje metody klasyfikacji, estymacji i prognozowania. Klasyfikacja polega na przypisywaniu każdego elementu zbioru danych do wcześniej zdefiniowanych klas. Jeśli liczba klas rośnie do nieskończoności, to mamy już do czynienia z estymacją, czyli szacowaniem wartości nieznanej cechy danego obiektu, na podstawie innych jego cech oraz innych znanych obiektów. Z kolei, jeśli szacowana wartość jest wartością przyszłą, to mówimy o prognozowaniu.
Nienadzorowane metody eksploracji danych są bardziej zróżnicowane. W ich skład wchodzą: grupowanie, asocjacje oraz metody opisowe. Grupowanie, podobnie jak klasyfikacja, polega na łączeniu podobnych obserwacji w grupy, z tą jednak różnicą, że w przeciwieństwie do klas, grupy nie są a priori definiowane. Metody asocjacji mają na celu wykrywanie cech, które są ze sobą powiązane, w ten sposób, iż wystąpienie jednej cechy w danym obiekcie, zwiększa prawdopodobieństwo warunkowe wystąpienia innej cechy. Ostatnia grupa narzędzi – metody opisowe, jak sama nazwa wskazuje, obejmuje pozostałe sposoby odkrywania i opisywania prawidłowości ukrytych w zbiorach danych.
Po tym teoretycznym wstępie, zobaczymy jak wybrane metody eksploracji danych wspierają analizowany proces wyceny. Pierwsza z metod – klasyfikacja, może być wykorzystana do przypisania każdego nowego długu do jednej z dwu kategorii: dobry, gdy spodziewamy się, że dłużnik ureguluje swoje zobowiązania oraz zły, w przeciwnym przypadku. Przypatrzymy się dwóm popularnym metodom klasyfikacji – drzewom klasyfikacyjnym oraz metodzie k – najbliższych sąsiadów.
Zgodnie z definicją, drzewem klasyfikacyjnym nazywa się nieskierowany, acykliczny i spójny graf, czyli zbiór wierzchołków i łączących je krawędzi takich, że nie istnieje ciąg krawędzi łączący którykolwiek wierzchołek z nim samym oraz każda para wierzchołków jest połączona ciągiem krawędzi. Dodatkowo musi istnieć wyróżniony wierzchołek początkowy drzewa, czyli tak zwany korzeń. W terminologii drzew klasyfikacyjnych wierzchołki i krawędzie nazywa się odpowiednio węzłami i gałęziami, zaś węzeł końcowy (taki, z którego nie wychodzą dalsze gałęzie) to liść.
Drzewo klasyfikacyjne jest rekurencyjnym algorytmem podziału zbioru obserwacji na coraz bardziej homogeniczne podzbiory. Cały zbiór jest utożsamiany z korzeniem drzewa. Pierwsza iteracja prowadzi do podziału tego zbioru na dwa (lub więcej) podzbiory (węzły), takie aby obserwacje znajdujące się wewnątrz danego podzbioru były do siebie możliwie jak najbardziej podobne, zaś różnice pomiędzy podzbiorami były jak największe. Każdy z tak powstałych podzbiorów może w następnej iteracji ulec dalszemu podziałowi, zgodnie z podanym kryterium ujednolicania węzłów. Jeśli w którejś z iteracji wyłoni się węzeł zawierający obserwacje jednej klasy (lub homogeniczne wg innego kryterium), to nie ulega on już dalszym podziałom, lecz zostaje liściem tego drzewa. Co charakterystyczne dla technik drzew, kryterium podziału opiera się w każdej iteracji wyłącznie na jednym atrybucie, przy czym atrybut raz wykorzystany może być wykorzystywany ponownie. Kryteria podziału zapisywane są na gałęziach, dzięki czemu badając drogę od korzenia do liścia możemy odczytać reguły definiujące dany liść. Zbiór wszystkich reguł powstałych podczas tworzenia drzewa może być następnie użyty do sklasyfikowania nowej obserwacji.
Jak widać idea drzewa klasyfikacyjnego jest stosunkowo prosta. Pewna złożoność kryje się w algorytmach podziału. Najpopularniejsze z nich to CART (Classification and Regression Trees), CHAID (Chi-square Automatic Interaction Detection) oraz CLS (Concept Learning Systems). Jak wspomniano, celem podziału jest otrzymywanie podzbiorów, które są jak najbardziej homogeniczne wewnątrz, a jednoczenie różnią się jak najbardziej pomiędzy sobą. Wymienione algorytmy podziału różnią się właśnie metodą mierzenia homogeniczności. Są to kolejno: indeks Giniego, analiza wariancji oraz entropia.
Druga z metod klasyfikacji – algorytm k – najbliższych sąsiadów (K – Nearest Neighbors) traktuje obserwację, która ma zostać sklasyfikowana jako punkt n – wymiarowej przestrzeni, gdzie wymiarami są atrybuty obserwacji. Tak samo reprezentowane są obserwacje referencyjne (z tak zwanego zbioru uczącego), dla których znane są nie tylko wartości atrybutów, ale także wartość cechy ukrytej, będącej celem klasyfikacji. Idea algorytmu opiera się na założeniu, że obserwacje, które w tak określonej przestrzeni znajdują się blisko siebie (są podobne ze względu na znane cechy) będą miały także podobną wartość cechy ukrytej. Z tego względu oblicza się odległości obserwacji klasyfikowanej od każdej z obserwacji referencyjnych, następnie wybiera k najbliższych, zwanych obrazowo sąsiadami, a ostatecznie klasyfikuje się nową obserwację do tej z klas, do której należy większość sąsiadów.
Tak jak w przypadku drzew sedno metody stanowi algorytm podziału, tak tu skuteczność algorytmu zależy od metody obliczania odległości. Najbardziej typowe miary to metryka euklidesowa, metryka miejska oraz metryka maksimum. Pierwszą znamy ze szkoły i jest zgodna z naszą intuicją. Jeśli idziemy z punktu A do punktu B i wybierzemy najkrótszą drogę (na przełaj) to pokonywana odległość będzie mniej więcej równa odległości liczonej metryką euklidesową. Jeśli jednak jesteśmy w mieście, gdzie są wytyczone prostopadłe ulice i nie ma możliwości „drogi na skróty”, to przebyta odległość będzie odpowiadała obliczeniom metryki miejskiej. Analogicznie można postąpić obliczając odległość między obserwacjami, różniącymi się dwoma (lub więcej) atrybutami. W przypadku długów mogą to być na przykład kwota zadłużenia oraz okres przedawnienia. Jeśli dług A opiewa na 5 jednostek pieniężnych i powstał 5 lat temu, zaś wartości atrybutów długu B wynoszą odpowiednio 2 jednostki pieniężne i 1 rok, to odległość po atrybucie kwota wynosi 3, a po atrybucie wiek 4. Zatem łączna odległość A od B według metryki miejskiej to 3+4=7 (według euklidesowej byłby to pierwiastek z sumy kwadratów, czyli w tym wypadku 5). Z kolei zgodnie z definicją metryki maksimum, jak sama jej nazwa wskazuje, bierze się pod uwagę tylko maksymalną z różnic w wartościach atrybutów – tu wyniosłaby ona zatem 4.
Z obliczaniem odległości wiążą się poważne problemy. Pierwszy z nich to określanie skal dla zmiennych. Przykładowo, licząc wiek w miesiącach otrzymamy odległość większą, niźli licząc go w latach. Drugi problem dotyczy atrybutów skorelowanych. Jeżeli dwa lub więcej atrybutów jest silnie ze sobą skorelowanych, to informacja zawarta w jednym z nich jest powielana przez drugi, skutkiem czego efekty klasyfikacji silniej zależą od tej informacji, niż od innej, którą niesie tylko jeden atrybut. Kolejny problem stanowią atrybuty nie mające związku z badanym zjawiskiem. Uwzględnienie ich przy liczeniu odległości wprowadza niepotrzebne zaburzenia. Przykładowo dodając do przytoczonego wcześniej porównania długów atrybut taki jak wzrost dłużnika możemy uzyskać zupełnie inne odległości. Jeśli dłużnik z długiem A ma wzrost 180 centymetrów, zaś dłużnik z długiem B tylko 170 centymetrów, to odległość w metryce maksimum zamiast 4, wyniesie 10, co niejako uczyni atrybut wzrostu najbardziej wpływowym. Oczywiście milcząco zakładamy, że wzrost dłużnika nie ma związku z jego skłonnością do regulowania zobowiązań. Dalsze, często spotykane problemy, to kwestie związane z czyszczeniem danych (obsługa wartość brakujących, powtarzających się lub sprzecznych) oraz problematyka obserwacji oddalonych (czyli wartości bardzo nietypowych).
Druga grupa narzędzi data mining, która znajduje zastosowanie w wycenie portfeli złych długów, to estymacja. Dzielimy ją na parametryczną, czyli taką, która zakłada określony model zależności między zmiennymi i zajmuje się estymowaniem parametrów tego modelu oraz estymację nieparametryczną, gdzie postać zależności między zmiennymi nie jest a priori określona.
Najpopularniejszą metodą nieparametryczną są sztuczne sieci neuronowe. Sprawdzają się bardzo dobrze przy estymowaniu kwot odzyskiwanych podczas windykacji długu w poszczególnych przedziałach czasowych, np. rocznych lub miesięcznych. Dzięki temu możemy wycenić portfel metodą zdyskontowanych przepływów pieniężnych.
Sieć neuronowa to matematyczny model wzorowany na budowie oraz zasadach działania ludzkiego mózgu. Tak jak swój protoplasta, sztuczna sieć neuronowa zbudowana jest z połączonych ze sobą neuronów. Modelowe neurony, podobnie jak żywe komórki nerwowe odbierają bezpośrednie (nieprzetworzone) bodźce (dane) zewnętrzne lub przetworzone sygnały z innych neuronów, sumują je, przetwarzają i przekazują dalej do innych neuronów. Przetworzenie polega najczęściej na wzmacnianiu sygnałów względnie mocnych oraz osłabianiu słabych.
W sieciach sztucznych, neurony zazwyczaj grupuje się w tak zwane warstwy. Polega to na tym, że neurony warstwy n+1 są połączone z neuronami warstwy n (każdy z każdym), nie występują zaś połączenia neuronów w obrębie tej samej warstwy. Wyróżnia się warstwę wejściową oraz wyjściową, a czasem dodatkowo warstwy (jedną lub więcej) wewnętrzne zwane ukrytymi. Warstwa wejściowa zbudowana jest z neuronów, które odbierają sygnały dostarczane do sieci. Z kolei neurony tworzące warstwę wyjściową produkują na swoim wyjściu sygnały będące ostatecznym wynikiem działania sieci. Dodatkowe warstwy (ukryte) umożliwiają bardziej złożone przetwarzanie danych. Sygnały w sieci przepływają oczywiście od warstwy wejściowej, poprzez ukryte, w kierunku wyjściowej. Niekiedy jednak spotkać można także sieci ze sprzężeniami zwrotnymi, w których sygnał wychodzący z danej warstwy trafia ponownie na jej wejście.
Ostatnią kluczową cechą sieci, niezbędną dla zrozumienia zasad jej działania, są tak zwane wagi. Każde połączenie między neuronowe posiada swoją wagę, dzięki czemu sygnały wychodzące z danego neuronu są sumowane w neuronach, do których docierają z różnymi wagami. Właściwe dobranie wag, zwane uczeniem, jest warunkiem koniecznym dobrego działania całej sieci.
Model sztucznej sieci neuronowej, zdefiniowany jak wyżej, pomimo całej swej prostoty posiada zadziwiające własności i możliwości. Niemniej jednak naukowcy są bardzo powściągliwi w porównywaniu imitującej mózg sieci do jej pierwowzoru. Podstawowa różnica zasadza się w unikatowej cesze prawdziwego mózgu, jaką jest samoświadomość.
Wśród metod parametrycznych niezaprzeczalny prym wiedzie regresja. Postać zależności między zmiennymi jest w tym wypadku z góry założona i opisana równaniem (lub układem równań, w przypadku, gdy zmiennych objaśnianych jest więcej). Najczęściej spotyka się równania liniowe, ale możliwe są także inne postaci funkcyjne zależności. Jeśli zmienna objaśniająca jest tylko jedna, to mówi się o regresji prostej, w przeciwnym wypadku regresję nazywa się wieloraką.
Metody regresji należą do najpopularniejszych w statystyce. Doczekały się wielu metod estymacji parametrów modelu oraz licznych testów statystycznych pozwalających weryfikować poprawność modelu, a także istotność statystyczną użytych zmiennych. Niestety, korzystanie z metod regresji, oprócz wspomnianej konieczności znajomości postaci funkcyjnej zależności między zmiennymi wymaga także spełnienia wielu innych założeń. Najważniejsze z nich, to stabilność zależności między zmiennymi objaśniającymi a zmienną objaśnianą, stabilność rozkładu składnika losowego, znajomość wartości zmiennych objaśniających w okresie, dla którego wyznaczasię wartość zmiennej objaśnianej oraz dopuszczalność ekstrapolacji modelu poza obserwowany w próbie obszar zmienności zmiennych objaśniających.
Jak wspomniano najpopularniejsze są regresje liniowe. Swoją popularność zawdzięczają prostocie estymacji i weryfikacji modelu, możliwości bezpośredniej interpretacji parametrów modelu oraz dobrej aproksymacji zależności nieliniowych. Czasami zależności nieliniowe dają się linearyzować, tzn. dzięki odpowiedniemu przekształceniu zmiennych można je zapisać równaniem liniowym.
Regresja liniowa ma także pewne ograniczenia. Na przykład, gdy estymujemy prawdopodobieństwo spłacenia długu, to wynik powinien być unormowany do przedziału jednostkowego. Aby osiągnąć taki cel, opracowano sprytne przekształcenia wzoru regresji. Dwa najczęściej spotykane to Logit oraz Probit. Bazują one na założeniu, że estymowana zmienna losowa ma rozkład prawdopodobieństwa przypominający odpowiednio krzywą logistyczną lub krzywą dzwonową Gaussa. Rozwiązanie to jest bardzo interesujące z punktu widzenia problemu wyceny złych długów. O ile metody klasyfikacji przypisywały długi do jednej z dwu klas, nie mierząc stopnia pewności z jaką dokonuje się klasyfikacji, to w przypadku regresji logitowej lub probitowej dla każdego długu znamy prawdopodobieństwo P, z jakim przypisujemy go do danej klasy, a jednocześnie prawdopodobieństwo przynależności do klasy przeciwnej – oczywiście równe 1-P.
Podsumowując, należy stwierdzić, że nadzorowana eksploracja danych jest bardzo przydatna podczas wyceny portfeli złych. Dzięki niej możemy przypisać każdy dług do jednej z dwu klas: dobry lub zły, możemy szacować prawdopodobieństwo tego, że dług jest dobry (albo, że jest zły), wreszcie możemy nawet szacować miesięczne kwoty zwrotu. Z kolei spośród metod eksploracji nienadzorowanej na uwagę zasługuje technika grupowania. Pozwala ona w przypadku wielkich baz danych łączyć ze sobą podobne długi, co ma znaczący wpływ na przyspieszenie opisanych wcześniej algorytmów. Potwierdza to tezę, że metody eksploracji danych wzajemnie się uzupełniają oraz można je skutecznie łączyć ze sobą.
Na zakończenie warto podkreślić, że prezentowane tu metody data mining mogą być z powodzeniem stosowane w wielu innych problemach biznesowych. Wspomniane algorytmy klasyfikacji i grupowania są skuteczne w procesie segmentacji klientów. Dzielenie klientów na homogeniczne podzbiory jest zabiegiem powszechnie stosowanym w badaniach marketingowych. Podobni klienci wykazują podobne cechy – np. pozytywnie odpowiadają na kampanie promocyjne, sprzedaż krzyżową (cross selling) bądź uzupełniającą (up selling). Z kolei podobne produkty cieszą się podobnym zainteresowaniem. Badając kombinacje ich cech (między innymi cenę i jakość) można szacować popyt na dobra i usługi (a nawet całe ich koszyki), które dopiero będą wprowadzane na rynek (conjoint analysis). Także dokonywana przez banki ocena zdolności kredytowej jest procesem podziału klientów. W tym wypadku jest to podział dychotomiczny – na klientów dobrych, czyli tych którym można przyznać kredyt oraz złych w przeciwnym przypadku. Segmentacji poddaje się także dokonywane przez klientów transakcje. Celem jest identyfikacja podejrzanych zachowań, które mogą znamionować próbę oszustwa – np. użycie karty kredytowej przez osobę nie będącą jej właścicielem (fraud detection). Innym ważnym zastosowaniem opisanym tu technik jest obliczanie tak zwanej wartości klienta (live time value). Zjawisko szczególnie rozpowszechnione w firmach telekomunikacyjnych polega na prognozowaniu jakie przychody będzie dla firmy generował klient. Prognozę wykonuje się analogicznie do prognozy przychodów z windykacji złych długów – bierze się pod uwagę dotychczasowe przychody od danego klienta oraz przychody od klientów do niego podobnych. Wreszcie warto wspomnieć analizę odejść klientów (churn/attrition analysis). Może ona polegać na identyfikacji grup podwyższonego ryzyka (co stanowi kolejny przykład segmentacji) lub na szacowaniu prawdopodobieństwa utraty każdego z klientów indywidualnie (analogicznie jak dla każdego długu z portfela szacuje się prawdopodobieństwo odzyskania wierzytelności). Znając ryzyko churnu klienta, obliczoną wcześniej jego wartość oraz preferencje względem różnych koszyków dóbr czy usług można dopasować odpowiednią kampanię marketingową.
Bibliografia:
Berry J. A. Michael, Linoff Gordon, Mastering Data Mining, Wiley 2000Berry J. A. Michael, Linoff Gordon, Data Mining Techniques, Wiley 2004
Ćwik Jan, Koronacki Jacek, Statystyczne systemy uczące się, WNT 2005
Gruszczyński Marek, Modele i prognozy zmiennych jakościowych w finansach i bankowości, SGH 2002
Hand David, Mannila Heikki, Smyth Padhraic, Eksploracja danych, WNT 2005
Larose T. Daniel, Odkrywanie wiedzy z danych, PWN 2006
Rutkowski Leszek, Metody i techniki sztucznej inteligencji, PWN 2006
Tadeusiewicz Ryszard, Sieci neuronowe, AOW 1993
Witkowska Dorota, Sztuczne sieci neuronowe i metody statystyczne, C.H. Beck 2002



