Go, wywodząca się z Chin gra z historią liczącą ponad 2500 lat oraz szachy, które wywodzą się z Indii od ok. 1500 lat, to najpopularniejsze strategiczne gry planszowe na świecie o znaczeniu nie tylko rozrywkowym, ale również kulturowym. Zasady są jasne i precyzyjne, przez co próg wejścia dla nowych graczy dla obu wspomnianych gier jest bardzo niski. Właśnie ta prostota jest źródłem wymyślania niebanalnych rozwiązań, taktyk, a przede wszystkim ogromnego ludzkiego wysiłku intelektualnego – wszystko po to, aby pokonać przeciwnika.
Sztuczna Inteligencja to nie tylko temat poważnych zastosowań takich jak Inteligent Acoustics w przemyśle, Aritificial Intelligence Adaptation w badaniach rozwojowych czy Data Engineering. Te i inne algorytmy są wykorzystywane również w różnych dziedzinach rozrywki. Używa się ich do tworzenia modeli, sztucznych zawodników, którzy mają na celu pokonać ludzkich graczy w grach planszowych, a nawet w e-sporcie.
Na przełomie XX i XXI wieku szachy i Go doczekały się swoich cyfrowych wersji. Pojawiły się także gry komputerowe, w których gracze walczą o pierwsze miejsce w tabeli i tytuły e-sportowych mistrzów. Równolegle z nimi powstało wiele modeli sztucznej inteligencji z odpowiednio zaimplementowanymi zasadami. Stało się to, aby wyszukiwać jeszcze lepsze zagrania oraz pokonywać ludzkich graczy. W niniejszym wpisie opisuję jak gry planszowe, komputerowe i sztuczna inteligencja wzajemnie się dopełniają i inspirują. Pokażę również, jak odpowiednio wytrenowany model sztucznej inteligencji pokonał nie tylko pojedynczych współczesnych arcymistrzów, ale też całe zespoły.
Sztuczna Inteligencja podbija gry planszowe
Historia, w której sztuczna inteligencja pokonała arcymistrza szachowego, ma swoje korzenie w projekcie Deep Blue prowadzonym przez firmę IBM. Głównym celem projektu było stworzenie komputerowego systemu szachowego. Deep Blue był wynikiem wieloletnich prac naukowców i inżynierów. Pierwsza wersja Deep Blue została opracowana w latach 80. XX wieku. Wykorzystywał on zaawansowane algorytmy t.j.:
- Przeszukiwanie drzewa gry (Tree Search) na podstawie bazy danych z ruchami i pozycjami szachowymi,
- Ocena pozycji (Position Evaluation),
- Przeszukiwanie głębokie (Depth Search).
W 1996 roku doszło do pierwszego meczu między Deep Blue a Garri Kasparowem. Mecz ten miał charakter eksperymentalny i był pierwszym, tego typu, oficjalnym spotkaniem. Kasparow wtedy wygrał trzy partie, remisując i przegrywając jedną. W maju 1997 roku w Nowym Jorku doszło do ponownego starcia. Tym razem Garii Kasparow poległ w pojedynku ze sztuczną inteligencją. Deep Blue zwyciężyło dwukrotnie, trzykrotnie uznano remis, a przegrało tylko raz.
Rys. 1 Garii Kasparow rozgrywa partię z Deep Blue w maju 1997 roku.
Mniej znaczy więcej
Równie ciekawym przypadkiem jest program stworzony przez firmę DeepMind o nazwie AlphaGo. Ta sztuczna inteligencja została zaprojektowana do gry w Go, o czym świat się przekonał, kiedy pokonała arcymistrza Go, Lee Sedola. Go jest dla znacznie trudniejsze od innych gier, w tym również szachów. Wynika to z dużo większej liczby możliwych ruchów, co utrudnia stosowanie tradycyjnych metod AI, takich jak wyszukiwanie wyczerpujące [1, 2]. DeepMind rozpoczęło prace nad programem AlphaGo w 2014 roku. Celem było stworzenie algorytmu, który mógłby konkurować z mistrzami. Wykorzystywał on zaawansowane techniki uczenia maszynowego:
- Głębokie uczenie (ang. Deep Learning),
- Uczenie ze wzmocnieniem (ang. Reinforcement Learning, RL),
- Monte Carlo Tree Search.
Pierwszym znaczącym osiągnięciem AlphaGo było pokonanie europejskiego zawodnika Fana Huiego w październiku 2015 roku. Silnik od DeepMind całkowicie zdominował każdą z partii wygrywając tym samym pięć do zera [3]. Kolejnym krokiem było pokonanie arcymistrza Lee Sedola. W trakcie meczów sztuczna inteligencja zaskoczyła nie tylko swojego przeciwnika, ale również ekspertów swoimi nietypowymi i kreatywnymi ruchami. Program wykazywał się zdolnością do przewidywania strategii i dostosowywania się do zmieniających się warunków na planszy. W rezultacie po rozgrywkach toczących się w dniach 9-15 marca 2016 roku, AlphaGo odniosło historyczne zwycięstwo nad Lee Sedolem, wygrywając serię pięciu meczów 4-1.
Rywalizacja na cyfrowych planszach
W 2018 roku OpenAI stworzyło zespół sztucznych graczy, tzw. botów, nazwany OpenAI Five. Drużyna botów zmierzyła się z profesjonalnymi graczami w grze Dota 2, jednej z najbardziej skomplikowanych gier typu MOBA (Multiplayer Online Battle Arena). Dwie pięcioosobowe drużyny walczą tam przeciwko sobie, aby zniszczyć bazę przeciwnika. Do “wytrenowania” OpenAI Five wykorzystano kilka zaawansowanych technik i koncepcji uczenia maszynowego:
- Uczenie ze wzmocnieniem – boty uczyły się podejmować decyzje poprzez interakcję ze środowiskiem i otrzymywanie nagród za określone akcje,
- Proximal Policy Optimization (PPO) – jest to konkretna technika RL, która, jak podają twórcy, była kluczowa do osiągnięcia sukcesu [5]. Metoda ta optymalizuje tzw. politykę (czyli strategię podejmowania decyzji) w sposób, który jest bardziej stabilny i mniej podatny na oscylacje w porównaniu do wcześniejszych metod, takich jak Trust Region Policy Optimization (TRPO) [6],
- Samoistne uczenie się – sztuczni zawodnicy rozgrywali miliony gier przeciwko sobie. Dzięki temu mogli oni rozwijać coraz bardziej zaawansowane strategie, ucząc się na podstawie swoich błędów i sukcesów.
W sierpniu 2018 roku sztuczna inteligencja pokonała półprofesjonalny zespół Pain Gaming na corocznych mistrzostwach świata Dota. W 2019 roku, podczas wydarzenia OpenAI Five Finals, boty pokonały zespół składający się z najlepszych graczy, w tym członków zespołu OG, zwycięzców The International w 2018. Z kolei DeepMind nie poprzestało na AlphaGo i skierowało swoje zainteresowanie w stronę gry StarCraft II. To jedna z najpopularniejszych gier strategicznych czasu rzeczywistego (RTS) tworząc program AlphaStar. Sztuczna inteligencja stanęła do pojedynków jeden na jeden z profesjonalnymi graczami StarCraft II w 2019 roku. W styczniu pokonała czołowych graczy tej strategii – dwukrotnie Grzegorza „MaNa” Komincza, a także zwyciężyła nad Dario „TLO” Wünschem. AlphaStar w ten sposób udowodnił swoje zdolności.
Sztuczna Inteligencja w e-sporcie
Sztuczna inteligencja odgrywa coraz większą rolę w szkoleniu profesjonalnych zespołów e-sportowych, szczególnie w takich krajach jak Korea Południowa, gdzie Liga Legend (ang. League of Legends) jest jedną z najpopularniejszych gier. Oto kilka kluczowych obszarów, w których AI jest wykorzystywana do szkoleń w profesjonalnych organizacjach takich jak T1, czy Gen.G.
Zespoły analityków wykorzystują ogromne ilości zgromadzonych danych z rozgrywek ligowych i towarzyskich. Analizują statystyki meczów, takie jak liczba asyst, zdobyte złoto, najczęściej obierane ścieżki i inne kluczowe wskaźniki. Dzięki temu trenerzy mogą zidentyfikować wzorce i słabości zarówno u swoich zawodników, jak i przeciwników.
Zaawansowane narzędzia treningowe wykorzystujące sztuczną inteligencję, takie jak „AIM Lab” czy „KovaaK’s”, pomagają graczom rozwijać konkretne umiejętności. Takie narzędzia mogą spersonalizować programy treningowe, które skupiają się na poprawie reakcji, celowania, decyzji taktycznych i innych kluczowych aspektów gry.
Wykorzystywane są również do tworzenia zaawansowanych symulacji i scenariuszy gry, naśladując przy tym różne sytuacje, które mogą wystąpić w trakcie meczu, umożliwiając graczom trening w warunkach zbliżonych do rzeczywistych. Dzięki temu zawodnicy mogą lepiej przygotować się na niespodziewane wydarzenia i szybciej podejmować lepsze decyzje podczas faktycznych spotkań.
Algorytmy SI mogą być używane do optymalizacji składu zespołu, analizując dane dotyczące indywidualnych umiejętności i preferencji graczy. Wyniki takich badań mogą sugerować, którzy zawodnicy powinni grać na jakich pozycjach. Mogą również pomóc dobrać skład osobowy, aby zmaksymalizować skuteczność zespołu.
Podsumowanie
Artykuł przedstawia, jak sztuczna inteligencja zdominowała gry planszowe i na stałe zawitała w e-sporcie. Pokonała ludzkich mistrzów w szachach, Go, Dota 2 i StarCraft II. Sukcesy projektów takich jak Deep Blue, AlphaGo, OpenAI Five i AlphaStar pokazują potencjał SI w tworzeniu zaawansowanych strategii i doskonaleniu technik gry. Przyszłe możliwości rozwoju obejmują jej wykorzystanie w tworzeniu bardziej realistycznych scenariuszy, opracowywania szczegółowych i spersonalizowanych ścieżek rozwoju graczy oraz analizy predykcyjne, które mogą rewolucjonizować treningi i strategie w różnych branżach.
Bibliografia
[1] Google achieves AI ‘breakthrough’ by beating Go champion, „BBC News”, 27 stycznia 2016
[2] AlphaGo: Mastering the ancient game of Go with Machine Learning, „Research Blog”
[3] David Larousserie et Morgane Tual, Première défaite d’un professionnel du go contre une intelligence artificielle, „Le Monde.fr”, 27 stycznia 2016, ISSN 1950-6244
[4] https://openai.com/index/openai-five-defeats-dota-2-world-champions/ dostęp 13.06.2024
[5] https://openai.com/index/openai-five/ dostęp 13.06.2024
[6] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347.
