[Wywiad] „Bixby stanie się agentem dostępu do każdego urządzenia marki Samsung” – rozmowa z Jisunem Parkiem, Head of Language AI Team

W miarę postępu sztucznej inteligencji funkcjonalność urządzeń mobilnych szybko ewoluuje, wychodząc poza proste wykonywanie poleceń. Pojawia się nowy paradygmat agentowej AI, która rozumie intencje użytkowników i kontekst, by autonomicznie podejmować działania na ich rzecz.

W obliczu tej zmiany Samsung priorytetowo traktuje rozwój asystenta Bixby. 31 marca zadebiutowała nowa wersja Bixby, który nie jest już wyłącznie asystentem głosowym, ale też „agentem urządzenia” zdolnym do zrozumienia kontekstu, łączenia funkcji i wykonywania złożonych zadań w imieniu użytkowników. Dzięki intuicyjnej konwersacji z użytkownikiem w języku naturalnym Bixby oferuje spersonalizowane rozwiązania oparte na aktualnym stanie urządzenia, a także bezproblemowy dostęp do informacji on-line w ramach jednej spójnej interakcji.

Co sprawia, że Bixby jest czymś więcej niż tylko asystentem głosowym? Na to pytanie odpowiada Jisun Park, Corporate Executive Vice President, Head of Language AI Team, Mobile eXperience (MX) Samsung Electronics.

Co zmieniło się w nowym Bixby w porównaniu z jego poprzednią wersją?

Bixby stał się potężniejszym agentem urządzeń, wykraczającym poza rolę tradycyjnego asystenta. Zoptymalizowany pod kątem każdego użytkownika, doskonale rozumie stan urządzenia i jego możliwości, by móc udzielać trafniejszych odpowiedzi i dostosowywać rozwiązania. Dzięki lepszemu rozumieniu języka naturalnego umożliwia również bardziej intuicyjne i płynne sterowanie urządzeniem.

Jakich kluczowych doświadczeń użytkownicy mogą oczekiwać od nowego Bixby?

Najbardziej zauważalną zmianą jest to, jak intuicyjne stało się sterowanie urządzeniem.

Bixby rozumie intencje użytkownika i zaleca najodpowiedniejsze ustawienia lub funkcje, eliminując potrzebę poruszania się po menu lub pamiętania dokładnych nazw funkcji. Użytkownik może po prostu opisać własnymi słowami, czego potrzebuje.

Na przykład, jeśli powiemy: „Spraw, by mój ekran był widoczny tylko dla mnie”, Bixby aktywuje funkcję widoku prywatnego.

Bixby może również odpowiadać na pytania dotyczące urządzenia i proponować spersonalizowane rozwiązania w oparciu o bieżące ustawienia, stanowiąc swoiste centrum serwisowe w kieszeni użytkownika. Na przykład, odpowiadając na komendę „Moje oczy są zmęczone. Jak ułatwić sobie patrzenie na ekran?” Bixby zaleci od razu aktywację funkcji poprawy komfortu widzenia.

Użytkownik może uzyskać odpowiedzi i rozwiązania, po prostu zadając pytania podczas rozmowy z Bixby, bez konieczności przeszukiwania ustawień lub otwierania innych aplikacji, takich jak przeglądarka lub mapy.

Ponadto, Bixby nie ogranicza się już do funkcji związanych wyłącznie z urządzeniem. Teraz może analizować informacje on-line w czasie rzeczywistym i udzielać wyczerpujących odpowiedzi. Na przykład, można powiedzieć: „Poleć trzy restauracje w Seulu dla czteroosobowej rodziny” i od razu usłyszeć sugestie.

W ten sam sposób można zadawać pytania uzupełniające w sposób naturalny i otrzymywać potrzebne informacje na bieżąco, bez zmiany kontekstu użytkowania sprzętu.

Jaka była najtrudniejsza część procesu aktualizacji Bixby?

Największy wysiłek włożono w przeprojektowanie jego architektury z opartej na poleceniach na agentową, co pozwoliło asystentowi lepiej zrozumieć intencje użytkownika i zapewnić optymalne wyniki.

Wcześniej Bixby klasyfikował dane wprowadzane przez użytkownika i wykonywane zadania na podstawie wstępnie zaprogramowanych scenariuszy. Teraz, bazując na dużym modelu językowym (LLM), może elastyczniej interpretować intencje i generować własne plany realizacji poleceń.

Dokładniej rzecz biorąc, przekształciliśmy poszczególne funkcje w agentów wywoływalnych i zdefiniowaliśmy ich w sposób umożliwiający modelowi LLM uruchamianie ich w razie potrzeby. Dzięki temu system może łączyć wiele funkcji i interfejsów aplikacji, by wykonywać zadania w bardziej sensowny sposób, wykraczając poza proste rozumienie języka naturalnego.

W rezultacie Bixby obsługuje teraz złożone, wieloetapowe żądania w sposób bardziej ludzki, z większą świadomością kontekstową, w tym scenariusze, które wcześniej były trudne do przetworzenia.

Czy w trakcie prac rozwojowych mieliście jakiś niezapomniany epizod?

Szczególnie zapada w pamięć poprawa zrozumienia języka koreańskiego.

Ponieważ Bixby zna wiele języków, ważne jest zapewnienie podobnie wysokiej sprawności w każdym z nich. Wiadomo, że język koreański stanowi szczególne wyzwanie w środowiskach modeli LLM ze względu na swoją złożoność. Formy słów są w nim bardzo zróżnicowane ze względu na bogaty system partykuł i przyrostków, a ich elastyczna kolejność powoduje, że znaczenie może się znacznie zmieniać w zależności od kontekstu, co utrudnia modelom wiarygodną interpretację struktury zdań i semantyki.

W pewnym momencie wskaźniki wydajności w rozumieniu tego języka zatrzymały się w miejscu na dłuższy czas, a cały zespół spędził długie godziny na testowaniu różnych sposobów. Na przykład, udoskonaliliśmy podejście do szkolenia modelu LLM, by lepiej pasowało do charakterystyki języka koreańskiego, dostosowaliśmy architekturę modelu i wzmocniliśmy uczenie się oparte na kontekście, by poprawić jego zrozumienie.

Mówiąc krótko, nie było łatwo. Były chwile frustracji, gdy nawet nasze najbardziej obiecujące pomysły nie zawsze przynosiły rezultaty. Jednak, nie poddając się i kontynuując walkę o przełom, ostatecznie udało nam się wyjść daleko poza zakładane cele.

To był moment, w którym cały zespół naprawdę uwierzył, że nowy Bixby jest inny.

Jaką rolę odegra Bixby w przejściu marki Samsung do ery agentowej AI?

Bixby odegra kluczową rolę jako agent urządzeń, ułatwiając korzystanie z nich i pozwalając w pełni wykorzystać ich potencjał.

W swej istocie agentowa AI polega na zrozumieniu intencji i kontekstu, by autonomicznie wykonywać zadania w imieniu użytkowników, dzięki czemu codzienne użytkowanie sprzętu jest prostsze i wygodniejsze. Dzięki temu Samsung zamierza przyspieszyć powszechną adopcję sztucznej inteligencji i ostatecznie bezproblemowo włączyć ją do codziennego życia, podobnie jak niezbędną infrastrukturę.

Dzięki Bixby użytkownicy mogą odkrywać szeroką gamę funkcji Galaxy AI i korzystać z nich bez konieczności posiadania wiedzy technicznej. W ten sposób Bixby obniża barierę dla akceptacji sztucznej inteligencji i pomaga większej liczbie osób cieszyć się związanymi z nią doświadczeniami w codziennym życiu.

Bixby wychodzi teraz poza urządzenia mobilne Galaxy i trafia również do innych urządzeń z logo Samsung. Czy możesz nam powiedzieć więcej na ten temat?

Bixby jest już dostępny w wielu urządzeniach Samsung spoza ekosystemu Galaxy, co przynosi użytkownikom dodatkową wygodę.

Nowa wersja Bixby jest obecnie wdrażana etapami w większej liczbie produktów, umożliwiając użytkownikom wygodniejsze sterowanie wieloma urządzeniami Samsung w całym domu.

Dzięki integracji ze SmartThings można ją również wykorzystać do zdalnego sterowania urządzeniami gospodarstwa domowego z poziomu urządzeń Galaxy. Na przykład, będąc poza domem, mogę uruchomić odkurzacz lub przełączyć klimatyzator w tryb osuszania powietrza.

Dzięki temu użytkownicy mogą płynniej zarządzać swoim środowiskiem domowym, nawet zdalnie.

W miarę jak Bixby będzie udostępniany kolejnym urządzeniom, stworzy bardziej zintegrowane i połączone środowisko, pomagając użytkownikom cieszyć się większą wygodą na co dzień.

Jaki jest przyszły kierunek i cel rozwoju Bixby?

Naszym celem jest, by Bixby stał się głównym punktem wejścia do interakcji z produktami marki Samsung. Wcześniej użytkownicy musieli szukać odpowiedniej aplikacji, poruszać się po menu i między wieloma ekranami, by coś zrobić. W przypadku Bixby wystarczy naturalna mowa. Oznacza to przejście od interakcji opartych na aplikacji i menu do bardziej intuicyjnego doświadczenia opartego na dialogu. By osiągnąć ten cel, stale rozwijamy kluczowe możliwości AI, w tym rozumienie języka naturalnego, rozumowanie kontekstowe i planowanie.

Jednocześnie rozszerzamy Bixby na szerszy ekosystem sprzętowy. Jako agent urządzeń, który rozumie każdy produkt i łączy go z intencjami użytkownika, Bixby stanie się naturalnym i bezproblemowo interaktywnym partnerem w życiu codziennym.