Potrafi pisać i rozmawiać prawie jak człowiek, ale nie będzie dostępny dla każdego.

Firma OpenAI zaprezentowała nową, gigantyczną wersję programu do pisania tekstów/konwersacji z ludźmi. GPT-3, bo tak nazywa się program, jest nowym wariantem tego, co zaprezntowano oryginalnie w lutym 2019. Program tworzył nowe zdania, akapity a nawet całe teksty na podstawie przykładowych zdań, które do niego wprowadzano. Wówczas OpenAI twierdziła, że nie udostępni kodu źródłowego swojego GPT-2, żeby nie ułatwiać tworzenie fake-newsów (potem udostępnili).

Oryginalny GPT-2 miał 1,5 mld parametrów (połączeń), GPT-3 ma ich ponad 100 razy więcej, aż 175 miliardów. To ciągle jeszcze dużo mniej, niż mamy połączeń neuronów w mózgu, ale tylko o tysiąc razy. Co nie znaczy, że gdy za dwa czy trzy lata będziemy mieć program z tysiąc razy większą liczbą parametrów, to będzie miał on możliwości mózgu. Nasz mózg, oprócz połączeń neuronów („szarych komórek”), ma jeszcze połączenia w materii białej, a każde połączenie neuronów może przypuszczalnie jednocześnie kodować nie jeden ale kilka parametrów. Ale i tak stokrotny skok skomplikowania programu w ciągu niecałego półtora roku jest niebywały.

GPT-3 jest w tej chwili najbardziej złożonym programem sztucznej inteligencji, jeśli mierzyć złożoność liczbą parametrów, chociaż przypuszczalnie nie pozostanie zbyt długo na pierwszym miejscu. GPT-2 też był przez chwilę największy, ale miesiąc po jego powstaniu firma Salesforce pokazała program CTRL, który miał 1,6 mld parametrów, Nvidia stworzyła Megatron, z 8 miliardami parametrów, w styczniu 2020 Google pokazał nową wersję swojego programu konwersacyjnego Meena z 2,6 mld parametrów. Microsoft w lutym zaprezentował podobny program Turing-NLG, który miał 17 mld parametrów.

GPT-3 uczony był na około bilionie (tak, nie miliardzie) słów ze stron internetowych, całej zawartości Wikipedii, tysiącach książek, kosztował 12 mln dolarów i ma być pierwszym programem OpenAI, który będzie komercyjnie udostępniany pod nazwą API. Już dzisiaj kilkanaście zaproszonych firm może z niego korzystać, na przykład Reddit bada możliwość używania API do moderacji postów. W przyszłości OpenAI utrzyma kontrolę nad tym, kto może programu używać, żeby ponieważ jego możliwości są niemal tak duże, jak dziennikarza czy pisarza. Program potrafi pisać wiersze, artykuły, tłumaczyć, prowadzić rozmowę jako czatbot w sposób niemal nieodróżnialny od ludzkiego. Wszystko, czego potrzebuje, to trochę tekstu na początek albo polecenie typu „tłumacz z angielskiego na francuski”.

Program działa nie rozumiejąc tego, co mówi, chociaż takie może sprawiać wrażenie. Nauczył się w jaki sposób słowa są ze sobą połączone w różnych konfiguracjach, a ponieważ jest tak potężny, więc te związki mogą obejmować powiązania współwystępujących setek, a pewnie i tysiące słów – czyli powiedzmy jednocześnie jest w stanie analizować cały artykuł albo rozdział książki. Twórcom chodziło o to, by stworzyć program o szerokich możliwościach, którego nie trzeba będzie dostosowywać do każdego kolejnego zajęcia i któremu wystarczą jeden czy dwa przykłady, żeby zrozumiał, co ma robić. Program, jeśli dostarczyć mu przykładów tekstów trudnych, które zostały uproszczone dla dzieci, będzie w stanie napisać własne uproszczone wersje. Już w poprzedniej wersji miał umiejętności, na pewno jeszcze doskonalsze obecnie, do grania w szachy wyłącznie dzięki analizie zapisów partii czy rozwiązywania równań matematycznych przez poznawanie przykładów.

OpenAI zaczął działać jako non-profit w 2015 roku, z funduszy dostarczonych głównie przez Elona Muska, a jego celem było tworzenie sztucznej inteligencji, która byłaby dla ludzi bezpieczna – Musk słusznie uważa rozwój AI za potencjalnie zagrażający istnieniu ludzkości. Fundusze były niewystarczające, żeby konkurować z gigantami, w połowie 2019 przekształcił się w firmę i przyjął miliard dolarów inwestycji z Microsoftu, który wydaje zresztą głównie na korzystanie z komputerów inwestora.

Jeśli chcecie zobaczyć, co potrafi poprzednia wersja GPT-2, to tutaj możecie się – po angielsku – pobawić https://talktotransformer.com/

Więcej znajdziecie m.in. tutaj:

https://openai.com/blog/openai-api/
https://tech.economictimes.indiatimes.com/news/technology/trillions-of-words-analyzed-openai-sets-loose-ai-language-colossus/76339669?redirect=1
https://www.theverge.com/2020/6/11/21287966/openai-commercial-product-text-generation-gpt-3-api-customers
https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc
https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc