metaBoxを用いたXRにおけるexUIプロダクトの試作

Category	Name
学会	INTERACTION2025
共著者	傳田隼稀・三浦晴大
使用ツール / 言語	Apple Vision Pro / Swift

本研究では、ハンドジェスチャ・オブジェクトトラッキングといった、XR空間独自のインタラクションを用いたexUIを提案した。実際に、Apple Vision Pro と metaBox を用いたアプリケーション例を3つ制作した。本研究は、インタラクション2025 のデモ展示にて、プレミアム発表(19.6%)に採択された。

exUIとは

exUIは、ハードウェアからインタフェースを外在化することで、ハードウェアの価値や機能をソフトウェア上から定義できるようにする手法である。特にexUIプロダクトの一つであるmetaBoxは、白い箱状の本体とスマートフォンで操作可能な鍵のみで構成されている。スマートフォンを用い、アプリケーションで使い方を定義することで、様々な用途に使用できる。metaBoxを含むexUIプロダクトのアプリケーションは、スマートフォンでの操作を想定して作られていた。

XR技術の発展

一方、Apple Vision ProをはじめとしたHMDの進歩により、XR空間を用いた新たなユーザ体験を提供できるようになった。オブジェクトトラッキングやハンドトラッキングなどのXR技術をexUIプロダクトに取り入れることで、スマートフォンの平面UIでは実現が難しい直感的なインタラクションを実装できる可能性がある。

XR空間におけるexUI

本研究では、metaBoxを例としたXR空間におけるexUIプロダクトの提案をする。試作として、Apple Vision ProとmetaBoxを用いたアプリケーション例を3つ制作した。

XRを用いる利点

XRを用いることで、ハードウェアの外装変更、実物体との接触インタラクション、ハンドジェスチャによるインタラクションといった、従来のスマートフォンを介した平面UIでは実現が難しい機能が実現できる。