Sztuczna inteligencja: Różnice pomiędzy wersjami
(→Bias: Amazon) |
(Amazon ACLU) |
||
Linia 11: | Linia 11: | ||
Przygotowany przez Conora Mc Cabe zestaw testów prezentuje poziomy toksyczności w tekstach generowanych przez GPT-3 oraz InstructGPT. Teksty, które odnosiły się do społeczności LGBT+, generowały zauważalnie bardziej toksyczne odpowiedzi. Było to szczególnie widoczne, gdy tożsamość seksualna połączona była z rasą i tak najbardziej toksyczne wyjścia uzyskaliśmy dla przykładu ''homoseksualnej, czarnej osoby''<ref>Medium, Conor Mc Cabe'', [https://betterprogramming.pub/lgbtq-bias-in-gpt-3-11a7d6362b27 LGBTQ+ bias in GPT-3]''</ref>. | Przygotowany przez Conora Mc Cabe zestaw testów prezentuje poziomy toksyczności w tekstach generowanych przez GPT-3 oraz InstructGPT. Teksty, które odnosiły się do społeczności LGBT+, generowały zauważalnie bardziej toksyczne odpowiedzi. Było to szczególnie widoczne, gdy tożsamość seksualna połączona była z rasą i tak najbardziej toksyczne wyjścia uzyskaliśmy dla przykładu ''homoseksualnej, czarnej osoby''<ref>Medium, Conor Mc Cabe'', [https://betterprogramming.pub/lgbtq-bias-in-gpt-3-11a7d6362b27 LGBTQ+ bias in GPT-3]''</ref>. | ||
Algorytm rekrutacyjny Amazona wykazywał bias przeciwko kobietom. Po usunięciu płci jako bezpośredniego czynnika, który może mieć wpływ na wynik, algorytm nauczył się promować użycie słów częściej występujących w męskich CV, a ''karać chociażby występowanie słowa "kobiece"''<ref>Carnegie Mellon University, Machine Learning Department, ''[https://www.ml.cmu.edu/news/news-archive/2016-2020/2018/october/amazon-scraps-secret-artificial-intelligence-recruiting-engine-that-showed-biases-against-women.html Amazon Scraps Secret AI Recruiting Engine that Showed Biases Against Women]''</ref>''.'' | Algorytm rekrutacyjny Amazona wykazywał bias przeciwko kobietom. Po usunięciu płci jako bezpośredniego czynnika, który może mieć wpływ na wynik, algorytm nauczył się promować użycie słów częściej występujących w męskich CV, a ''karać, chociażby występowanie słowa "kobiece"''<ref>Carnegie Mellon University, Machine Learning Department, ''[https://www.ml.cmu.edu/news/news-archive/2016-2020/2018/october/amazon-scraps-secret-artificial-intelligence-recruiting-engine-that-showed-biases-against-women.html Amazon Scraps Secret AI Recruiting Engine that Showed Biases Against Women]''</ref>''.'' | ||
Zachwyt nad AI w połączeniu z chęcią cięcia kosztów, może skończyć się próbą użycia AI do zadań, do których zwyczajnie się nie nadaje. Produkt startupu z Munich miał oceniać kandydatów na podstawie krótkich filmów rozmów kwalifikacyjnych. Zdaniem twórców miał on analizować ton głosu, gesty, ekspresję i na ich podstawie przygotować profil osobowości. Firma twierdziła, że taki proces jest szybszy i bardziej obiektywny. Brzmi to jak zły pomysł, nawet gdyby aplikacja działała zgodnie z założeniami. Eksperyment reporterów z Bayerischer Rundfunk pokazał jednak, że wynikom daleko do obiektywności. Testy wykazały, że na wynik znacząco wpłynęło noszenie okularów, chusta na włosach czy fryzura. Bardzo duże znaczenie miało też tło. Większość wskaźników oceny zyskała, gdy identyczne wideo miało w tle obraz lub półkę na książki, a także przy jaśniejszym oświetleniu. Co jest jeszcze bardziej zaskakujące, podmiana ścieżki dźwiękowej na kompletnie inną osobę, nie zrobiła na algorytmie mającym brać pod uwagę ton głosu wrażenia i wynik był zbliżony do oryginalnego wideo<ref>Br24, [https://interaktiv.br.de/ki-bewerbung/en/ ''Objective or Biased: On the questionable use of Artificial Intelligence for job applications'']</ref>. | Zachwyt nad AI w połączeniu z chęcią cięcia kosztów, może skończyć się próbą użycia AI do zadań, do których zwyczajnie się nie nadaje. Produkt startupu z Munich miał oceniać kandydatów na podstawie krótkich filmów rozmów kwalifikacyjnych. Zdaniem twórców miał on analizować ton głosu, gesty, ekspresję i na ich podstawie przygotować profil osobowości. Firma twierdziła, że taki proces jest szybszy i bardziej obiektywny. Brzmi to jak zły pomysł, nawet gdyby aplikacja działała zgodnie z założeniami. Eksperyment reporterów z Bayerischer Rundfunk pokazał jednak, że wynikom daleko do obiektywności. Testy wykazały, że na wynik znacząco wpłynęło noszenie okularów, chusta na włosach czy fryzura. Bardzo duże znaczenie miało też tło. Większość wskaźników oceny zyskała, gdy identyczne wideo miało w tle obraz lub półkę na książki, a także przy jaśniejszym oświetleniu. Co jest jeszcze bardziej zaskakujące, podmiana ścieżki dźwiękowej na kompletnie inną osobę, nie zrobiła na algorytmie mającym brać pod uwagę ton głosu wrażenia i wynik był zbliżony do oryginalnego wideo<ref>Br24, [https://interaktiv.br.de/ki-bewerbung/en/ ''Objective or Biased: On the questionable use of Artificial Intelligence for job applications'']</ref>. | ||
== Zawodność == | |||
Błędne wyniki i awaryjność są problemem wszelakiego oprogramowania. Jednak w wypadku SI, problemy te mogą być szczególnie widoczne, czy poprzez rodzaj problemów, do których są zaciągane, czy skalę samych błędów. | |||
W 2018 r. ACLU przeprowadziło test używając oprogramowania Amazonu do rozpoznawania twarzy, publiczne dostępnych zdjęć członków kongresu oraz 25,000 policyjnych zdjęć kryminalistów. 28 członków kongresu zostało nieprawidłowo rozpoznanych jako zatrzymani kryminaliści. Dodatkowo algorytm zauważalnie częściej popełniał błędy w przypadku osób niebiałych<ref>ACLU, ''[https://www.aclu.org/news/privacy-technology/amazons-face-recognition-falsely-matched-28 Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots]''</ref><ref>CNET, ''[https://www.cnet.com/news/privacy/amazon-facial-recognition-thinks-28-congressmen-look-like-known-criminals-at-default-settings/ Amazon facial recognition mistakenly confused 28 Congressmen with known criminals]''</ref>. | |||
== Przypisy == | == Przypisy == |
Wersja z 09:12, 15 cze 2024
Programy czy algorytmy używane do klasyfikacji lub generowania danych. Termin najczęściej odnosi się do technologii opartych o sieci neuronowe i to na nich będziemy się skupiać.
Sieci neuronowe
Podstawowa zasada działania sieci neuronowych jest dość prosta. System składa się z wejść, perceptronów, przez które dane są przetwarzane i wyjścia. To, w jaki sposób perceptrony będą dane przetwarzać, zależy od budowy sieci oraz procesu uczenia. W dużym skrócie proces uczenia polega na tym, że dostarczany bardzo, ale to bardzo dużo przykładowych wejść, oraz to, co dla każdego z nich chcielibyśmy otrzymać. Następnie algorytm stara się tak dostosować perceptrony, przez które dane są przetwarzane, aby rzeczywiste wyniki były jak najbliżej tych oczekiwanych.
Bias
Jednym z problemów ze sztuczną inteligencją, jest to, że ponieważ stara się ona odtworzyć dane użyte do nauki, powstały model powinien odzwierciedlać uprzedzenia osób tworzących wejście. Co gorsza, jako że dobre modele potrzebują ogromnej ilości danych wejściowych, ręczna moderacja tych danych byłaby niezwykle trudna.
Przygotowany przez Conora Mc Cabe zestaw testów prezentuje poziomy toksyczności w tekstach generowanych przez GPT-3 oraz InstructGPT. Teksty, które odnosiły się do społeczności LGBT+, generowały zauważalnie bardziej toksyczne odpowiedzi. Było to szczególnie widoczne, gdy tożsamość seksualna połączona była z rasą i tak najbardziej toksyczne wyjścia uzyskaliśmy dla przykładu homoseksualnej, czarnej osoby[1].
Algorytm rekrutacyjny Amazona wykazywał bias przeciwko kobietom. Po usunięciu płci jako bezpośredniego czynnika, który może mieć wpływ na wynik, algorytm nauczył się promować użycie słów częściej występujących w męskich CV, a karać, chociażby występowanie słowa "kobiece"[2].
Zachwyt nad AI w połączeniu z chęcią cięcia kosztów, może skończyć się próbą użycia AI do zadań, do których zwyczajnie się nie nadaje. Produkt startupu z Munich miał oceniać kandydatów na podstawie krótkich filmów rozmów kwalifikacyjnych. Zdaniem twórców miał on analizować ton głosu, gesty, ekspresję i na ich podstawie przygotować profil osobowości. Firma twierdziła, że taki proces jest szybszy i bardziej obiektywny. Brzmi to jak zły pomysł, nawet gdyby aplikacja działała zgodnie z założeniami. Eksperyment reporterów z Bayerischer Rundfunk pokazał jednak, że wynikom daleko do obiektywności. Testy wykazały, że na wynik znacząco wpłynęło noszenie okularów, chusta na włosach czy fryzura. Bardzo duże znaczenie miało też tło. Większość wskaźników oceny zyskała, gdy identyczne wideo miało w tle obraz lub półkę na książki, a także przy jaśniejszym oświetleniu. Co jest jeszcze bardziej zaskakujące, podmiana ścieżki dźwiękowej na kompletnie inną osobę, nie zrobiła na algorytmie mającym brać pod uwagę ton głosu wrażenia i wynik był zbliżony do oryginalnego wideo[3].
Zawodność
Błędne wyniki i awaryjność są problemem wszelakiego oprogramowania. Jednak w wypadku SI, problemy te mogą być szczególnie widoczne, czy poprzez rodzaj problemów, do których są zaciągane, czy skalę samych błędów.
W 2018 r. ACLU przeprowadziło test używając oprogramowania Amazonu do rozpoznawania twarzy, publiczne dostępnych zdjęć członków kongresu oraz 25,000 policyjnych zdjęć kryminalistów. 28 członków kongresu zostało nieprawidłowo rozpoznanych jako zatrzymani kryminaliści. Dodatkowo algorytm zauważalnie częściej popełniał błędy w przypadku osób niebiałych[4][5].
Przypisy
- ↑ Medium, Conor Mc Cabe, LGBTQ+ bias in GPT-3
- ↑ Carnegie Mellon University, Machine Learning Department, Amazon Scraps Secret AI Recruiting Engine that Showed Biases Against Women
- ↑ Br24, Objective or Biased: On the questionable use of Artificial Intelligence for job applications
- ↑ ACLU, Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots
- ↑ CNET, Amazon facial recognition mistakenly confused 28 Congressmen with known criminals