AR návod k údržbě 3D tiskárny
Výzkumný prototyp iOS aplikace, která v kameře rozpozná skutečný stroj a ke krokům návodu ukáže 3D šipku přímo na místo, kde se má něco udělat. Vznikl v projektu PEF MENDELU o využití technologií metaverza ve firmách.
01Přehled
Návod k obsluze ukazuje díly stroje na obrázku a na skutečném stroji je člověk musí najít sám. Výzkumný projekt na PEF MENDELU zkoumal, jak můžou technologie metaverza podpořit podnikové procesy. Aplikaci v jeho rámci navrhl a vyvinul Tomáš Šmerda z našeho týmu. Jako testovací stroj posloužila 3D tiskárna Prusa i3 MK2.5S.
- Vznik
- Výzkumný projekt PEF MENDELU
- Typ projektu
- Výzkumný prototyp iOS aplikace
- Rok
- 2024
- Služby
- UX a UI designiOSARUživatelský test
- Technologie
- Swift · SwiftUI · ARKit · RealityKit
- Zdrojový kód
- github.com/tsmerda/ios-ar-collaboration
- Publikovaný výzkum
- theses.cz/id/bt2hl1
Co se dá doložit
Účastníků uživatelského testu: 15 zkoušelo AR návod, 5 klasický
Nejvyšší odchylka rozpoznání, pokud se dodrží pravidla snímání
O tolik byl AR návod v průměru pomalejší než klasický
Zdroj: Kolaborace v rozšířené realitě na platformě iOS (PEF MENDELU, 2024), kapitola 8. Malý vzorek, výsledky jsou orientační.
Jak jsme to vyřešili
Navrhnout iOS aplikaci, ve které může víc lidí sdílet jednu AR scénu, a ověřit, jestli je technologie použitelná pro návody k reálným strojům. Součástí zadání bylo i testování s uživateli.
Tiskárnu jsme naskenovali LiDARem do 3D referenčního objektu. Ke krokům návodu jsme v Reality Composeru připravili 3D anotace, například šipku k ovládacímu panelu. Aplikace si návod stáhne ze serveru, stroj v kameře rozpozná, ohraničí ho žlutým rámečkem a anotaci ukotví na správné místo. Každý krok uživatel potvrdí a může k němu přidat hodnocení, komentář a fotku. Do jedné relace se může připojit víc iPhonů a iPadů a všichni vidí stejné anotace i polohu ostatních.
Naše role
Návrh UX a UI ve Figmě, vývoj iOS aplikace, 3D skenování a anotace, rozšíření serveru o správu 3D souborů, příprava a vedení uživatelského testu. Server s návody připravil tým výzkumného projektu.
Kdy AR návod funguje
- Skenovat a používat na podobném povrchu.
- Mít při skenování i používání podobné světlo.
- Svítit dostatečně a rovnoměrně, bez přímého slunce.
- Dívat se na stroj z podobného úhlu jako při skenování.
- Rozpoznání fungovalo u předmětů od dálkového ovladače po auto. Nehodí se ale pro velmi malé předměty a předměty těsně vedle sebe.
- Zkušeným uživatelům šipky nic nepřidaly. Pomáhají hlavně tomu, kdo stroj nezná.
04Výsledek
Rozpoznání fungovalo spolehlivě, když se dodržela pravidla pro světlo, povrch a úhel snímání. Testerům šipky usnadnily orientaci, k rychlejší práci ale nevedly.
Technologie a nástroje
iOS a AR
- Swift
- SwiftUI
- ARKit
- RealityKit
3D obsah
- LiDAR skenování
- Reality Composer
- USDZ
Sdílení a data
- MultipeerConnectivity
- REST API