W wyścigu o opracowanie solidnych systemów percepcji dla robotów stałym wyzwaniem była praca w złych warunkach pogodowych i trudnych warunkach. Na przykład tradycyjne czujniki wizyjne wykorzystujące światło, takie jak kamery lub LiDAR (wykrywanie i określanie odległości światła), zawodzą w przypadku gęstego dymu i mgły.
Jednak natura pokazała, iż widzenie nie musi być ograniczone ograniczeniami światła — wiele organizmów wykształciło sposoby postrzegania otoczenia bez polegania na świetle. Nietoperze nawigują dzięki echa fal dźwiękowych, a rekiny polują, wyczuwając pola elektryczne na podstawie ruchów ofiary.
Fale radiowe, których długości fal są o rząd wielkości dłuższe niż fale świetlne, mogą lepiej przenikać dym i mgłę, a choćby widzieć przez niektóre materiały – a wszystko to poza zasięgiem ludzkiego wzroku. Jednak roboty tradycyjnie korzystały z ograniczonego zestawu narzędzi: albo korzystały z kamer i LiDAR, które dostarczają szczegółowe obrazy, ale zawodzą w trudnych warunkach, albo z tradycyjnego radaru, który widzi przez ściany i inne przeszkody, ale generuje prymitywne obrazy o niskiej rozdzielczości.
Teraz naukowcy z Wydziału Inżynierii i Nauk Stosowanych Uniwersytetu Pensylwanii (Penn Engineering) opracowali PanoRadar, nowe narzędzie, które zapewnia robotom nadludzki wzrok poprzez przekształcanie prostych fal radiowych w szczegółowe, trójwymiarowe widoki otoczenia.
„Nasze początkowe pytanie dotyczyło tego, czy moglibyśmy połączyć to, co najlepsze z obu modalności wykrywania” – mówi Mingmin Zhao, adiunkt w dziedzinie informatyki i informatyki. „Solidność sygnałów radiowych, które są odporne na mgłę i inne trudne warunki, a także wysoka rozdzielczość czujników wizualnych”.
W artykule, który ma zostać zaprezentowany podczas Międzynarodowej konferencji na temat komputerów mobilnych i sieci komputerowych w 2024 r. (MobiCom), Zhao i jego zespół z laboratorium Wireless, Audio, Vision, and Electronics for Sensing (WAVES) oraz Penn Research In Embedded Computing and Integrated Systems Engineering (PRECISE), w skład którego wchodzi doktorant Haowen Lai, absolwent studiów magisterskich Gaoxiang Luo i asystent badawczy Yifei (Freddy) Liu, opisz, w jaki sposób PanoRadar wykorzystuje fale radiowe i sztuczną inteligencję (AI), aby umożliwić robotom poruszanie się choćby w najbardziej wymagających środowiskach, takich jak zadymione budynki czy zamglone drogi.
PanoRadar to czujnik działający jak latarnia morska, która omiata wiązką światła po okręgu, skanując cały horyzont. System składa się z obracającego się pionowego układu anten, które skanują otoczenie. Obracając się, anteny te wysyłają fale radiowe i nasłuchują ich odbić od otoczenia, podobnie jak promień latarni morskiej ujawnia obecność statków i obiektów przybrzeżnych.
Dzięki mocy sztucznej inteligencji PanoRadar wykracza poza tę prostą strategię skanowania. W przeciwieństwie do latarni morskiej, która w trakcie obrotu po prostu oświetla różne obszary, PanoRadar w sprytny sposób łączy pomiary ze wszystkich kątów obrotu, aby zwiększyć rozdzielczość obrazowania. Chociaż sam czujnik stanowi jedynie ułamek kosztów typowo drogich systemów LiDAR, ta strategia rotacji tworzy gęstą gamę wirtualnych punktów pomiarowych, co pozwala PanoRadar osiągnąć rozdzielczość obrazowania porównywalną z LiDAR. „Kluczową innowacją jest sposób przetwarzania pomiarów fal radiowych” – wyjaśnia Zhao. „Nasze algorytmy przetwarzania sygnałów i uczenia maszynowego są w stanie wyodrębnić bogate informacje 3D ze środowiska”.
Jednym z największych wyzwań, przed którymi stanął zespół Zhao, było opracowanie algorytmów zapewniających obrazowanie w wysokiej rozdzielczości podczas ruchu robota. „Aby osiągnąć rozdzielczość porównywalną z LiDAR dzięki sygnałów radiowych, musieliśmy połączyć pomiary z wielu różnych pozycji z dokładnością poniżej milimetra” – wyjaśnia Lai, główny autor artykułu. „Staje się to szczególnie trudne, gdy robot się porusza, ponieważ choćby niewielkie błędy ruchu mogą znacząco wpłynąć na jakość obrazowania”.
Kolejnym wyzwaniem, któremu podołał zespół, było nauczenie systemu rozumienia tego, co widzi. „Środowiska wewnętrzne charakteryzują się spójnymi wzorami i geometrią” – mówi Luo. „Wykorzystaliśmy te wzorce, aby pomóc naszemu systemowi sztucznej inteligencji zinterpretować sygnały radarowe w podobny sposób, w jaki ludzie uczą się rozumieć to, co widzą”. Podczas procesu uczenia model uczenia maszynowego opierał się na danych LiDAR w celu sprawdzenia jego zrozumienia z rzeczywistością i był w stanie w dalszym ciągu się doskonalić.
„Nasze testy terenowe w różnych budynkach pokazały, iż wykrywanie radiowe może działać doskonale tam, gdzie tradycyjne czujniki mają problemy” – mówi Liu. „System precyzyjnie śledzi choćby przez dym i potrafi mapować choćby przestrzenie ze szklanymi ścianami”. Dzieje się tak dlatego, iż fale radiowe nie są łatwo blokowane przez cząsteczki unoszące się w powietrzu, a system może „wychwytywać” choćby rzeczy, których LiDAR nie jest w stanie, na przykład szklane powierzchnie. Wysoka rozdzielczość PanoRadar oznacza również, iż może on dokładnie wykrywać ludzi, co jest cechą krytyczną w zastosowaniach takich jak pojazdy autonomiczne i misje ratownicze w niebezpiecznych środowiskach.
Patrząc w przyszłość, zespół planuje zbadać, w jaki sposób PanoRadar mógłby współpracować z innymi technologiami czujnikowymi, takimi jak kamery i LiDAR, tworząc solidniejsze, multimodalne systemy percepcji dla robotów. Zespół rozszerza także swoje testy o różne platformy zrobotyzowane i pojazdy autonomiczne. „W przypadku zadań wymagających dużej stawki posiadanie wielu sposobów wyczuwania otoczenia ma najważniejsze znaczenie” – mówi Zhao. „Każdy czujnik ma swoje mocne i słabe strony, a łącząc je w inteligentny sposób, możemy stworzyć roboty, które będą lepiej przygotowane do radzenia sobie z wyzwaniami w świecie rzeczywistym”.
Badanie to przeprowadzono w Szkole Inżynierii i Nauk Stosowanych Uniwersytetu Pensylwanii przy wsparciu wydziałowego funduszu startowego.
