Strona główna / Badania naukowe / Niepodważalny charakter ground truth w badaniach naukowych: odpowiedź Asonovowi i in. – tłumaczenie artykułu (Kotsoglou i Biedermann, 2024)
Niepodważalny charakter ground truth w badaniach naukowych: odpowiedź Asonovowi i in. – tłumaczenie artykułu (Kotsoglou i Biedermann, 2024)
Pełne tłumaczenie na język polski:
The unassailable nature of ground truth in scientific research: Response to Asonov et al.
Autorzy: Kyriakos N. Kotsoglou (Northumbria University, Northumbria Law School, Newcastle upon Tyne, UK), Alex Biedermann (University of Lausanne, Faculty of Law, Criminal Justice and Public Administration, School of Criminal Justice, 1015 Lausanne–Dorigny, Switzerland; autor korespondencyjny)
Rok: 2024
Źródło: Forensic Science International: Synergy, 9, 100556 (list do redakcji)
DOI: https://doi.org/10.1016/j.fsisyn.2024.100556 (PMC: PMC11420432)
Prawa autorskie: © 2024 The Authors. Published by Elsevier B.V.
Licencja: Creative Commons Uznanie autorstwa 4.0 Międzynarodowe (CC BY 4.0)
Tłumaczenie: Adam Rangotis. Tłumaczenie nie zostało zatwierdzone przez autorów; autorzy ani wydawca nie popierają Instytutu Badań Wariograficznych ani jego usług. Wprowadzone zmiany: przekład na język polski; podział na akapity, śródtytuły i wyróżnienia redakcyjne IBW.
Powiązany tekst (nota IBW): List dotyczy artykułu Asonova i in. (2023) – zob. pełne polskie tłumaczenie artykułu Building a second-opinion tool for classical polygraph.
Streszczenie IBW
Poniższe streszczenie jest własnym tekstem Instytutu Badań Wariograficznych i nie stanowi części tłumaczonego artykułu.
List Kotsoglou i Biedermanna jest kolejnym głosem w wymianie polemicznej: autorzy krytycznie ocenili wcześniej (2024) pracę Asonova i in. (2023) o narzędziu uczenia maszynowego do „drugiej opinii” w klasycznym badaniu wariograficznym (poligraficznym), Asonov i in. odpowiedzieli repliką „Training on dirty labels”, a niniejszy tekst jest odpowiedzią na tę replikę. Autorzy podtrzymują, że trenowanie modeli na etykietach nadanych przez ludzi – nawet po ich przeglądzie i „korekcie” przez innych egzaminatorów – nie zastępuje znanego rzeczywistego stanu faktycznego (ground truth), a bez niego nie można ustalić wskaźnika błędów metody, czego wymagają porządki prawne (m.in. standard Daubert).
Odróżniają legalność stosowania wariografu od jego statusu naukowego, wskazując, że w Anglii i Walii wariograf jest stosowany wyłącznie w nadzorze kuratorskim, a ustawa Offender Management Act 2007 wyłącza wykorzystanie wyników badania jako dowodu przeciwko osobie badanej. Odnoszą się także do publikacji o wariografie w czasopiśmie FSI: Synergy, roli krytyki metodologicznej oraz argumentu, że wynik badania wariograficznego nie jest jedynym źródłem informacji.
Najważniejsze tezy
- List jest odpowiedzią na replikę Asonova i in. w sporze o narzędzie uczenia maszynowego wspierające ocenę zapisów z badania wariograficznego (poligraficznego).
- Zdaniem autorów dane z etykietami nadanymi przez egzaminatorów – nawet po przeglądzie i zmianie części etykiet – nadal nie są danymi o znanym rzeczywistym stanie faktycznym (ground truth).
- Niezgodność recenzenta z pierwszym egzaminatorem traktują jako rozbieżność opinii, a nie jako wykryty błąd.
- Odróżniają legalność stosowania metody od jej statusu naukowego i opisują ograniczenia stosowania wariografu w Anglii i Walii (nadzór kuratorski, wyłączenie dowodowe w Offender Management Act 2007).
- Podkreślają, że bez danych o znanym ground truth nie można ustalić wskaźnika błędów metody, o który pytają sądy (np. standard Daubert).
Tłumaczenie artykułu
Niepodważalny charakter rzeczywistego stanu faktycznego (ground truth) w badaniach naukowych: odpowiedź na artykuł Asonova i in.
Kyriakos N. Kotsogloua, Alex Biedermannb,⁎
a Northumbria University, Northumbria Law School, Newcastle upon Tyne, UK
b University of Lausanne, Faculty of Law, Criminal Justice and Public Administration, School of Criminal Justice, 1015 Lausanne–Dorigny, Switzerland
⁎ Autor korespondencyjny. [email protected]
Szanowna Redakcjo,
W naszym niedawnym artykule Polygraph-based deception detection and Machine Learning. Combining the Worst of Both Worlds? [Wykrywanie kłamstwa za pomocą wariografu (poligrafu) a uczenie maszynowe. Połączenie najgorszych cech obu światów?] [1] krytycznie wskazaliśmy wady tendencji do stosowania metod uczenia maszynowego (ang. machine learning, ML) do doraźnie zgromadzonych danych dobranych według dostępności (ang. ad hoc convenience data). Dla zilustrowania naszych argumentów odwołaliśmy się do niedawnej publikacji dotyczącej wykrywania kłamstwa za pomocą wariografu [2].
Naszym głównym argumentem było to, że trenowanie modeli ML na danych z etykietami nadanymi przez ludzi, a nie na podstawie rzeczywistego stanu faktycznego (ang. ground truth), nie spełnia wymogów dotyczących opracowywania i walidacji systemów oceny dowodów stosowanych obecnie w kilku dziedzinach nauk sądowych, takich jak badanie śladów linii papilarnych [3] oraz zautomatyzowane, nadzorowane przez człowieka sądowe porównywanie głosu [4]. Wymóg dysponowania danymi o znanym ground truth podkreśla się także, w szerszym ujęciu, w odniesieniu do metod opartych na sztucznej inteligencji (AI) przeznaczonych do stosowania w systemach prawnych [5]. W replice na nasz artykuł Asonov i in. [6] formułują szereg twierdzeń, do których odnosimy się poniżej.
1. O trenowaniu na „brudnych etykietach” i ich korygowaniu
Asonov i in. stwierdzają, że „[g]łówny zarzut (…) Kotsoglou i in. (…) polega na tym, że my [Asonov i in.] trenujemy na brudnych etykietach (niebędących ground truth)” [6, s. 1]. Asonov i in. odpowiadają, że przeanalizowali swoje terenowe dane treningowe i „(…) znaleźli 30 problematycznych wniosków egzaminatorów” [6, s. 1], a „(…) następnie wytrenowali model produkcyjny po skorygowaniu tych 30 błędów” [6, s. 1].
Nie odpowiada to na naszą krytykę. Chodzi nam o to, że „dane historyczne obejmujące 2094 terenowe zapisy wariograficznych badań przesiewowych” [2, s. 2] mają etykiety nadane przez ludzi, co oznacza, że rzeczywisty stan faktyczny w każdym z tych przypadków jest z definicji nieznany. Przejrzenie takich danych, wyodrębnienie pewnej liczby „problematycznych wniosków egzaminatorów” [6, s. 1], poddanie ich „przeglądowi” przez egzaminatorów-ludzi i ostatecznie zmiana ich etykiet nie rozwiązuje problemu: dane te nadal mają etykiety nadane przez ludzi.
Ponadto sama próba oceny (diagnostycznej) skuteczności metody przy jednoczesnym zawieszeniu idei ground truth jest chybiona. Podejście Asonova i in. jest nie do obrony nie tylko z przyczyn metodologicznych. Porządki prawne na całym świecie wymagają, aby sędziowie otrzymywali informacje o wskaźniku błędów (ang. error rate) danej metody (zob. standard Daubert (ang. Daubert standard) w Stanach Zjednoczonych, Daubert v. Merrell Dow Pharmaceuticals Inc., 509 U S. 579 (1993)1, oraz orzeczenie Tajnej Rady (ang. Privy Council) w sprawie Lundy v R [2013] UKPC 28). Wątpliwe jest, w jaki sposób system czysto samoreferencyjny, który jedynie naśladuje niedoskonałych egzaminatorów-ludzi i którego zgodność z rzeczywistym stanem faktycznym jest z założenia konstrukcyjnego nieznana, mógłby spełnić ten wymóg.
Co więcej, nazywanie zmiany etykiet „korektą”, co sugeruje dostosowanie do ground truth, wprowadza w błąd, ponieważ recenzenci-ludzie nie są jasnowidzami. W najlepszym razie takie dane można by nazwać „zmodyfikowanymi” (ang. adjusted).
2. O pojęciu błędu
Asonov i in. ponownie twierdzą, że „błędy” egzaminatora można wykryć, „(…) gdy profesjonalny, bezstronny egzaminator dokona przeglądu badania przesiewowego” [6, s. 1]. Jest to, delikatnie mówiąc, mylące. Recenzent mógłby co najwyżej zgodzić się albo nie zgodzić się z opinią pierwszego egzaminatora. Jest to jednak akt woli, a nie przedsięwzięcie poznawcze, nie mówiąc już o naukowym. W najlepszym razie, jeżeli recenzent ma szczególny status, np. starszego egzaminatora, lub z jakiegokolwiek powodu bądź z racji jakichkolwiek kwalifikacji jest uznawany za pewnego rodzaju punkt odniesienia, wówczas każda niezgodność z opinią pierwszego egzaminatora jest jedynie rozbieżnością względem opinii referencyjnej. Nie jest to jednak błąd, ponieważ sama opinia referencyjna jest tylko opinią na temat rzeczywistego stanu faktycznego.
Recenzent mógłby co najwyżej zgodzić się albo nie zgodzić się z opinią pierwszego egzaminatora.Kotsoglou i Biedermann, 2024
3. Twierdzenie, że wykrywanie kłamstwa za pomocą wariografu jest „legalną techniką”
Asonov i in. stwierdzają, że „[w]ykrywanie kłamstwa za pomocą wariografu jest legalną techniką w wielu krajach, w tym w Wielkiej Brytanii” oraz że „[p]o prostu nie ma potrzeby jej legitymizowania” [6, s. 1]. Twierdzenie to myli kwestię legalności (prawomocności) z kwestią statusu naukowego wykrywania kłamstwa za pomocą wariografu. Formalne dopuszczenie do stosowania określonej metody lub techniki, choćby najbardziej rozpowszechnionej, jest wyłącznie kwestią regulacyjną i stwierdzeniem faktu, którego nie kwestionujemy. Z tego, co „jest”, nie da się wyprowadzić tego, co „powinno być”.
Asonov i in. mieszają kwestię empiryczną (to, że branża wariograficzna faktycznie istnieje; podobnie: istnieje branża astrologiczna) z aspektem normatywnym (tym, że takie dziedziny mają wątpliwy status naukowy i nie powinny wchodzić w skład arsenału organów władzy publicznej). Co jednak kluczowe, a zarazem ważniejsze, stwierdzenie, że „stosowanie wariografu jest w Wielkiej Brytanii legalną techniką”, jest – delikatnie mówiąc – nieścisłe, jeśli nie wprowadzające w błąd. Po pierwsze, Zjednoczone Królestwo (podobnie jak Stany Zjednoczone) nie stanowi jednej jurysdykcji w zakresie wymiaru sprawiedliwości w sprawach karnych. W Anglii i Walii wariograf jest stosowany wyłącznie w ramach nadzoru kuratorskiego (ang. probation).
Z tego, co „jest”, nie da się wyprowadzić tego, co „powinno być”.Kotsoglou i Biedermann, 2024
Po drugie, w odniesieniu do danych wariograficznych i powiązanych informacji sekcja 30(1) ustawy o postępowaniu ze sprawcami przestępstw z 2007 r. (ang. Offender Management Act 2007) stanowi, że dowód dotyczący jakiejkolwiek kwestii wspomnianej w trakcie sesji wariograficznej nie może zostać wykorzystany w żadnym postępowaniu przeciwko osobie badanej (tj. zwolnionemu sprawcy) w sprawie o przestępstwo. Wspomnianymi kwestiami mogą być „(a) wszelkie oświadczenia złożone przez osobę zwolnioną podczas udziału w sesji wariograficznej; oraz (b) wszelkie reakcje fizjologiczne osoby zwolnionej podczas zadawania jej pytań w toku badania wariograficznego” (Offender Management Act 2007, sekcja 30(2)).
Tym samym to samo prawo uznaje brak trafności przesłuchań opartych na wariografie. Co więcej, odbiorców technologii wariograficznej może niewiele obchodzić jej faktyczna zdolność do prowadzenia do prawdy (ang. truth-conduciveness), dopóki służy ona jako narzędzie przesłuchania skłaniające osoby badane do przyznania się.
Nasz argument dotyczący legitymizacji jest inny. Obawiamy się, że twierdzenie, iż naukowość wykrywania kłamstwa za pomocą wariografu można poprawić, stosując ML jako „dodatek”, mogłoby w nieuprawniony sposób służyć za argument na rzecz legitymizacji tej procedury. Jednak, jak wskazano powyżej w punkcie 1, trenowanie na danych z etykietami nadanymi przez ludzi, nawet jeśli zostały one przejrzane i zmodyfikowane przez egzaminatorów-ludzi, pozostaje agnostyczne wobec rzeczywistego stanu faktycznego jako właściwego punktu odniesienia, a tym samym nie spełnia istotnego wymogu legitymizacji w postępowaniu sądowym.
4. O tym, jakoby Forensic Science International: Synergy miało być czasopismem pseudonaukowym
Asonov i in. [6] wysuwają hipotezę, że nasze określenie wykrywania kłamstwa za pomocą wariografu mianem pseudonauki sugeruje, iż Forensic Science International: Synergy (FSI SYN) jest czasopismem pseudonaukowym, ponieważ opublikowało wcześniej pracę dotyczącą wariografu. Jednak publikacja, do której odwołują się Asonov i in. [6], nie była zwykłym zgłoszeniem. Nie jest to nawet artykuł, lecz liczące mniej niż 300 słów streszczenie konferencyjne opisu przypadku [7]. Stanowi ono część materiałów z posiedzenia American Society of Crime Laboratory Directors (ASCLD) w 2023 r. (ang. Proceedings of the ASCLD Meeting 2023). Materiały z posiedzenia ASCLD w 2023 r. zostały opublikowane jako suplement FSI SYN. W tym przypadku FSI SYN było jedynie kanałem publikacji. Decyzję o przyjęciu [7] podjęli – i ponosili za nią odpowiedzialność – organizatorzy danej konferencji.
5. O roli krytyki metodologicznej
Asonov i in. stwierdzają, że my [Kotsoglou i Biedermann] „nie potrafimy lub nie chcemy prowadzić badań, które minimalizują niedostatki powszechnego, faktycznego (de facto), a w wielu przypadkach również prawnego (de iure) standardu probabilistycznego wykrywania kłamstwa (wariografu), stosowanego przez policję, specjalne agencje rządowe i sektor prywatny. Jaki jest zatem sens poświęcania czasu na krytykowanie tych, którzy to robią? Czy zamiast tego nie byłoby bardziej produktywne zbadanie alternatywnej metody, wolnej od niedostatków?” [6, s. 2].
Rozumiemy, że Asonov i in. nie są pracownikami akademickimi, lecz badaczami stosowanymi związanymi z przemysłem. Niemniej jednak powinni wiedzieć, że podejmowanie kwestii metodologicznych w literaturze naukowej stanowi nieodłączną część pracy naukowej. Asonov i in. zastanawiają się, jaki jest sens tego, by krytycy tracili czas na pościg za zombie2, i czy nie byłoby bardziej produktywne, gdybyśmy my [Kotsoglou i Biedermann] spróbowali stworzyć własnego zombie.
Odpowiedź brzmi oczywiście: nie, ponieważ wymagałoby to od nas przyjęcia wątpliwych przesłanek. Jak potwierdził każdy renomowany zespół ekspertów wysokiego szczebla (ang. blue-ribbon committee) zajmujący się (trafnością) wykrywania kłamstwa za pomocą wariografu, tak zwana reakcja stresowa, która ma podlegać pomiarowi, może być wywołana przez rozmaite czynniki tkwiące w trudnych do kontrolowania okolicznościach konkretnej sprawy, co podważa samą ideę wykrywania kłamstwa na podstawie wskaźników fizjologicznych.
Ponadto mówienie o „probabilistycznym wykrywaniu kłamstwa” jest nieuzasadnione. Jak wielokrotnie zauważaliśmy, walidacja probabilistycznych metod oceny w naukach sądowych wymaga zbiorów danych o znanym rzeczywistym stanie faktycznym [3], [4], [5], których w ujęciu Asonova i in. brak.
6. O stosowaniu wykrywania kłamstwa za pomocą wariografu jako jedynego źródła informacji („wykrywanie kłamstwa”) oraz o omylności
Asonov i in. stwierdzają, że „(…) zgadzają się, iż wnioski z badania wariograficznego po prostu nie mogą być wykorzystywane jako jedyne źródło informacji w postępowaniach wewnętrznych lub karnych, częściowo dlatego, że metoda ta jest podatna na błędy (…)” [6, s. 2].
Stwierdzenie to jest truizmem i odwraca uwagę od istoty sprawy. Nie jest kwestionowane, że jedno źródło informacji zwykle nie jest wykorzystywane w oderwaniu od innych (tj. jako „jedyne źródło”). Nie oznacza to jednak, że wadliwą metodę, taką jak wykrywanie kłamstwa za pomocą wariografu, należy uznać za nadającą się do użytku dlatego, że w danej sprawie mogą istnieć inne źródła informacji, które mogłyby w jakiś sposób „przykryć” mylący kierunek wyznaczony przez wadliwą metodę.
Nie zgadzamy się również z tym, że można sensownie powiedzieć, iż dana metoda jest jedynie „podatna na błędy”. Omylność jest faktem życia. Problem leży jednak gdzie indziej. Wszyscy na co dzień korzystamy z omylnych metod. Problem polega na tym, że Asonov i in. przymykają oko na faktyczną zdolność swojej metody (wykrywania kłamstwa za pomocą wariografu) do prowadzenia do prawdy.
Zamiast tego przekształcają ją w metodę samoreferencyjną, wykorzystując nadane przez ludzi opinie na temat ground truth, tj. ludzkie przekonania, jako niezwalidowane substytuty rzeczywistego stanu faktycznego, a następnie promują tę metodę jako odpowiednią do zamierzonego celu. Ta różnica w punktach odniesienia jest subtelna, ale ma charakter paradygmatyczny. Dotyka podstawowych aksjomatów badań naukowych, w tym liczącego sobie wieki podłoża metafizycznego, tj. tego, że coś może być albo prawdziwe, albo nie, niezależnie od trudności w zweryfikowaniu, który z tych przypadków zachodzi.
Potencjalni nabywcy produktów, których twórcy twierdzą, że ML może (w magiczny sposób) naprawić nieodłączne wady konstrukcyjne metod wykrywania kłamstwa opartych na wariografie, nie powinni ignorować tego, że ceną, jaką mogą zapłacić, jest porzucenie fundamentalnych zasad. Najwyższy czas, abyśmy wszyscy poważnie zastanowili się nie tylko nad tym, czy powinniśmy dawać wiarę twierdzeniom niektórych części branży ML, lecz – co ważniejsze – nad tym, czy takie twierdzenia w ogóle powinny być formułowane.
Dziękujemy Asonovowi i in. za konstruktywną wymianę poglądów.
Spór dotyczy jednego z najtrudniejszych zagadnień metodologicznych w badaniach nad wykrywaniem kłamstwa: w danych terenowych rzeczywisty stan faktyczny jest często nieznany albo potwierdzany jedynie pośrednio (np. przyznaniem się). Dlatego oceny trafności badań wariograficznych opierają się zwykle na eksperymentach laboratoryjnych lub na przypadkach potwierdzonych niezależnie od wyniku badania, a obie strony wymiany zgadzają się, że wynik takiego badania nie powinien być jedynym źródłem informacji. Stanowisko Asonova i in. przedstawia ich artykuł z 2023 roku, do którego odsyła nota na początku strony.
Oświadczenie o konflikcie interesów
Oświadczamy, że nie są nam znane żadne konkurencyjne interesy finansowe ani relacje osobiste, które mogłyby wydawać się wpływać na pracę przedstawioną w niniejszym artykule.
Przypisy
- https://supreme.justia.com/cases/federal/us/509/579/. ↩
- Zob. Kotsoglou [8], gdzie wyjaśniono, dlaczego wykrywanie kłamstwa za pomocą wariografu można uznać za sądową technikę-zombie. ↩
Bibliografia
- K.N. Kotsoglou, A. Biedermann, Polygraph-based deception detection and machine learning. Combining the worst of both worlds?, Forensic Sci. Int.: Synergy 9 (2024) 100479. 10.1016/j.fsisyn.2024.100479
- D. Asonov, M. Krylov, V. Omelyusik, A. Ryabikina, E. Litvinov, M. Mitrofanov, M. Mikhailov, A. Efimov, Building a second-opinion tool for classical polygraph, Nature Scientific Reports 13 (2023) 5522. 10.1038/s41598-023-31775-6
- D. Meuwly, D. Ramos, R. Haraksim, A guideline for the validation of likelihood ratio methods used for forensic evidence evaluation, Forensic Sci. Int. 276 (2017) 142–153. 10.1016/j.forsciint.2016.03.048
- G.S. Morrison, E. Enzinger, V. Huges, M. Jessen, D. Meuwly, C. Neumann, S. Planting, W.C. Thompson, D. van der Vloed, R.J.F. Ypma, C. Zhang, A. Anonymous, B. Anonymous, Consensus on validation of forensic voice comparison, Sci. Justice 61 (2021) 299–309. 10.1016/j.scijus.2021.02.002 [Przyp. tłum.: w oryginale „Huges” – prawdopodobnie chodzi o V. Hughes.]
- R.J.F. Ypma, D. Ramos, D. Meuwly, AI-based forensic evaluation in Court: the desirability of explanation and the necessity of validation, in: Z. Geradts, K. Franke (Eds.), Artificial Intelligence (AI) in Forensic Sciences, first ed., John Wiley & Sons Ltd., Hoboken, NJ, 2024.
- D. Asonov, M. Krylov, A. Ryabikina, M. Mikhailov, Training on dirty labels: rejoinder to Kotsoglou and Biedermann, Forensic Sci. Int.: Synergy 9 (2024) 100547. 10.1016/j.fsisyn.2024.100547
- A. Ayoub, M. Amjid, A polygraph case study of sodomy and murder case, Forensic Sci. Int.: Synergy 6 (2023) 100346–100404.
- K.N. Kotsoglou, Zombie forensics: the use of the polygraph and the integrity of the criminal justice system in England and Wales, Int. J. Evid. Proof 25 (2021) 16–35.