Marzyłem o takiej ciepłej kawusi jak na obrazku powyżej gdy wracałem do domu rodzinnego na święta Bożego Narodzenia w kraju, który niedawno co wstąpił do Unii Europejskiej. Śmierdzący, zardzewiały Autosan H9-15 ledwo się toczył w korku w Serocku pod Warszawą, a ja wyskrobując sobie “szparkę na świat” w szronie na okiennej szybie, zastanawiałem się czy w ogóle na tę Wigilię dojadę i jak to możliwe, że już w tej UE jesteśmy.
Kobiecina siedząca kilka rzędów przede mną modliła się o wzrost temperatury powietrza w pojeździe. “Panie Kierowco – zimno! Oj zimno, Panie Kierowco!”. Nikt się nie spodziewał, pewnie nawet ona, że jej modły zostaną w końcu wysłuchane. Gdy silnik naszego wehikułu zgasł przy próbie ruszania z kolejnego postoju, Pan Kierowca – niczym Jahwe zsyłający dekalog z góry Synaj, ogłosił swe prawo: “Jest zimno, bo jest zima.” Wszystko stało się jasne. Ucichło zawodzenie niewiast i ja zrozumiałem jak udało się Polsce wejść do UE. 😉
Trzy Filary Nauki
Zaskakująco często musiałem przypominać treść prawa “Zimy w Autosanie” swoim kolegom z pracy, gdy pracowałem jako obliczeniowiec. Niczym wspomniana niewiasta z autobusu, pisali w mailach i na Skype: “Złe są wyniki symulacji. Oj złe są te wyniki, Panie symulancie!”. Odpowiadałem wtedy, że wyniki są złe, bo są otrzymane z modelu, a jak wiemy wszystkie modele są złe i pytałem w jakim sensie są złe. Najczęstszą odpowiedzią była oczywiście niezgodność z “rzeczywistością”, czyli eksperymentem. Ale czy zawsze wyniki doświadczalne są dobre?
Najprostsza definicja błędu mówi, że
Błąd ilościowy to różnica między wynikiem pomiaru a wielkością mierzoną.
Grabe 2005
Z tym, że dokładność wyznaczenia wielkości mierzonej musi być o wiele wyższa niż dokładność pomiaru. Czasami mamy jednak do czynienia z czymś takim jak na rysunku poniżej.
Czarna pętelka to rozrzut wyników doświadczenia, a czerwona to rozrzut wyników symulacji komputerowej przy zmiennych parametrach procesu. W tym wypadku widzimy, że to raczej “rzeczywistość” należałoby sprawdzać poprzez symulacje, a nie na odwrót. 😉
Czasami tak się robi, tylko może raczej nie sprawdza rzeczywistości, a ją się opisuje dzięki obserwacjom poczynionym podczas obliczeń komputerowych – czyli prowadzi badania naukowe. Od 1965 r. symulacje komputerowe są oficjalnie, obok badań doświadczalnych i teoretycznych jednym z filarów nauki.
Czyli możemy wyjaśniać otaczający nas świat poprzez jego bezpośrednią obserwację (tak jak to człowiek od zawsze robił), dochodząc do nowych wniosków na podstawie już znanych prawd i teorii, oraz poprzez komputerowe symulowanie zjawisk, których nie da się (z różnych przyczyn, np. braku możliwości dokładnego pomiaru) bezpośrednio zaobserwować.
Wiarygodność
Podobnie jak byle jakim doświadczeniem, tak i byle jaką symulacją nie da się nauki uprawiać. Na pewno znane są Ci metody oceny wiarygodności wyników badań doświadczalnych – pomiarów. Metrologią męczy się studentów politechnik już od pierwszego dnia studiów. Mało kto jednak zajmuje się oceną wiarygodności wyników symulacji, a jak już pewnie wiesz, nie tylko o porównanie z doświadczeniem tu chodzi. Nie jest to jednak ani wiedza tajemna, ani nowa. NASA zaczęło prace nad oceną wiarygodności symulacji numerycznych już 1986 roku, a obecnie obowiązująca norma ASME powstała w 2005 r.
Wróćmy jednak najpierw do słynnego cytatu Georga Boxa o tym, że wszystkie modele są złe, ale niektóre są przydatne i dorzućmy jeszcze dwa.
Models cannot be proven correct. They can only be proven incorrect.
Popper 1969
Credibility is not a procedure for testing scientific theory or for certifying the truth of current scientific understanding. Credibility means that a model is acceptable for its intented use because it meets specified performance requirements.
Refsgaard, Henriksen 2004
Pierwszy z nich to słynna zasada falsyfikowalności Karla Poppera – filozofa nauki, która podobnie jak pierwsza cześć cytatu G. Boxa mówi, że z natury wszystkie modele są złe. Nigdy nie oddają w pełni rzeczywistości. Drugi mówi, że model jest wiarygodny, gdy jest po prostu przydatny w konkretnym, jasno określonym kontekście.
Poniżej widzimy bardzo dobrą zgodność symulacji frontu płynięcia tworzywa w formie z rzeczywistym kształtem zaobserwowanym podczas prób. Jednak gdy się przyjrzymy wykresowi w prawym dolnym rogu, zobaczymy, że przewidywana wartość ciśnienia wtrysku znacznie różni się od tej odczytanej z wtryskarki (zielona ciągła linia – symulacja, czerwona ciągła – doświadczenie).
Czyli ogólnie wyniki symulacji są złe (inne być nie mogą), ale przydatne w przypadku przewidywania położenia frontu płynięcia tworzywa.
Etapy Oceny Wiarygodności
Teraz gdy już wiemy co chcemy zmierzyć, spróbujmy odpowiedzieć na pytanie jak to zrobić. Wcześniej wspomniana norma opisuje ocenę wiarygodności modelu obliczeniowego jako procedurę składającą się z czterech kroków.
- Ocena “jakości symulanta”. Tutaj wchodzą w grę wszelkiego rodzaju certyfikacje, szkolenia pracowników, ale też testy A/B i wszelkie inne metody określające wpływ człowieka na wynik obliczeń.
- Ocena jakości modelowania zjawisk fizycznych. Czyli co w ogóle można zasymulować i czy tylko i wyłącznie przy pomocy metod statystycznych, sztucznej inteligencji, czy może modele są zapisane w postaci cząstkowych równań różniczkowych itd.
- Ocena wyników weryfikacji i walidacji modelu.
- Ocena niepewności.
Pierwsze dwa kroki są stosunkowo trudne do przeprowadzenia. Uwzględniają bowiem czynnik ludzki i udział wiedzy eksperckiej. Kolejny opiera się już w zasadzie tylko na liczbach i na poznanych już filarach nauki. Musimy zrobić przez nie przekrój. 😉
Podczas weryfikacji obliczamy różnice między wynikami naszej symulacji a znanymi rozwiązaniami analitycznymi. Porównujemy model z teorią. Czyli sprawdzamy jak dobrze został napisany program i określamy tzw. błędy numerycznego przybliżenia.
Walidacja polega na porównaniu wyników symulacji z doświadczeniem, ale z doświadczeniem, którego wynik możemy podać z bardzo dużą dokładnością. To musi być specjalnie przygotowany przykład, a nie wypraska przyniesiona gdzieś z hali produkcyjnej.
Mamy już dość dobrze sprecyzowane wielkości błędów, które powstają na każdym etapie generowania wyników przez obliczenia komputerowe: błąd człowieka, błąd klasy modelu, błąd numeryczny, błąd modelowania konkretnego zjawiska, ale… istnieje tylko pewne prawdopodobieństwo, że czytasz teraz ten tekst. 😉 Procesy zachodzące we wszechświecie mają charakter losowy, więc wielkość, którą staramy się przewidzieć w naszych obliczeniach też ma jakiś rozkład.
W kolejnym etapie porównujemy rozkłady wyników symulacji i doświadczenia (tym razem tego, do którego odnosi się nasza mierzona wiarygodność) i otrzymujemy poziom ufności wyników naszej symulacji.
Proste, prawda? 😉
Przykład Niekoniecznie z Życia Wzięty
Zadanie – ocena wiarygodności symulacji skurczu liniowego wypraski klasy “pudełko XYZ” (klasa określa nam części podobne geometrycznie, wykonane w tej samej technologii i z podobnych materiałów) w systemie Moldex3D.
- Test A/B – dwóch inżynierów z certyfikatem Moldex3D Analyst niezależnie wykonuje symulacje dla takich samych danych wejściowych.
- Pozyskanie danych od producenta oprogramowania i z literatury na temat średniego błędu wyznaczenia zmiany wymiaru liniowego przez program.
- Porównanie wyników symulacji i obliczeń analitycznych dla prostej geometrii wypraski (płytka itp.).
- Porównanie wyników symulacji i wyników pomiaru skurczu liniowego w laboratorium producenta tworzywa.
- Kompilacja wartości uzyskanych błędów i założenie rozkładu.
- Wyznaczenie rozkładu wartości skurczu dla reprezentatywnej wypraski z klasy “pudełko XYZ”.
- Wnioskowanie statystyczne.
Wnioski Bez Wnioskowania
Nasz Autosan ostatnim tchnieniem swego technicznego życia dojechał na przystanek, a my po otwarciu drzwi “służbowym kulasem” dostępnym dla wysiadających, wkraczamy do nowej rzeczywistości, w której wiemy że:
- jak ktoś mówi, że wyniki symulacji są złe, to odkrywa Amerykę 500 lat po Kolumbie,
- jeśli do tego dodaje, że tylko “realna próba” da prawdziwe wyniki, to pewnie z tej prekolumbijskiej Ameryki uciekł i zaraz przebije nas dzidą, albo mu spadnie trawiasta sukienka z tyłka,
- o tym czy wyniki symulacji są wiarygodne decyduje ich przydatność w konkretnym przypadku,
- ocena tej wiarygodności jest czymś więcej niż porównaniem z doświadczeniem,
- jej procedura jest ogólnie opisana, ale szczegółowa implementacja zależy (jak zwykle) od przypadku użycia.
Obejrzyjmy się jednak za siebie. Nie wszyscy z tego autobusu wysiedli. Autosan jedzie dalej…
