Vision Pro体験から考える、アイトラッキングの日常使い
はじめに
最近、久々に東京に行く機会があって 新宿のAppleで Apple Vision Pro を体験する機会がありました。 予約は必要だったのですが、ウェブですぐにできたので妻と行ってきました。
Apple Vision Proは公式で以下のように紹介されています。
Apple Vision Proは、 デジタルコンテンツを現実空間に シームレスに融合します。 作業する。映画を観る。 思い出を体験する。みんなとつながる。 そのすべてを、かつてない方法で。 ようこそ、空間コンピューティングの時代へ。
この「空間コンピューティング」に、 60万円、1日あたり500円の価値はあるのでしょうか1。 体験してきた感想としては「その価値はある」になるのですが、 塵も積もればというかタジタジしてしまいます。
で、結局買ったのはTobii Eye Tracker 5 だったりします。かなり飛躍していたので、 Apple Vision Proの何が良かったのかという話と、 その良かった部分をTobii Eye Tracker 5で再現できる 理由と方法を残しておこうと思います。
Vision Proで良かったところ
たしか一時間くらいのチュートリアルだったと思うのですが、 ゴーグル越しに見える映像の解像度も良く、 何より操作性がとても良かったです。
AppleのRetinaは映りが綺麗ですが、 それが目の前にある感じで、 しかも体験した限りはかなりの枚数を召喚できそうでした。 それを仮想空間上で複数枚並べられるのは、 たしかに良さそうでした。
また、事前にARグラスやVRゴーグルも 新宿のヨドバシで体験しておいたのですが、 それと比べても別物の解像度の良さで、 まったく酔いませんでした。 また、ヨドバシは単に商品を置いてあるだけなので どう使っていいかがわからなかったのですが、 Vision Proはマンツーマン指導が入るので 体験として非常に良かったです。
なにより好印象だったのは、 アイトラッキングによる操作の自然さでした。 見ている対象にフォーカスが移り、軽く指をつまむだけでクリックできる。 ウィンドウの移動や削除なども直感的で、 余計なマウス移動もなく、とても快適でした。
ただ、ふと思いました。
この操作性は、デスクトップ環境でも再現できるのでは？
空間コンピューティングそのものというより、 僕にとっては「視線入力」こそが求めていた機能なのではないか。 そんな感覚が残りました。
Tobiiで再現してみる
そこで導入したのが Tobii Eye Tracker 5 です。 新品だと徐々に値段は上がってきますが、 現在は45,000円くらいです(在庫が切れると値段が一時的に倍になります)。 中古だと約3万円くらいなので、 僕はメルカリで買いました。 Vision Proと比べると、かなり現実的な価格だと思います。
僕は修士の頃から研究室でアイトラッカーを使っていたので、 たしかにWindows Updateの影響で実験期間中に使えなくなって 泣きそうになったこともありますが、 かなりTobiiには信頼を寄せています。
使ったことのない人向けに説明すると、 アイトラッカーはモニターの下に置くセンサーで、 「今どこを見ていそうか」をカメラで推定するデバイスです。 多くの機種は赤外線（目には見えない光）で目元を照らして、 瞳孔や角膜の反射の位置関係から視線方向を計算します。
赤外線は可視光の範囲外なので、照らされてもまぶしく感じにくいです。 赤い光がトラッカーから見えます。 また、赤外線カメラの映像では瞳孔が真っ黒で若干怖いですが、 あんな感じで瞳孔の部分は反射が少ないので、 瞳孔と虹彩を分離しやすい、というメカニズムだった気がします。 最初にキャリブレーションという、 その人の「目の特徴」と「画面上の位置」を対応づける操作をして プロファイルを作ります。
得意/苦手もあって、例えば
- 姿勢が大きく変わったり、逆光が強いと精度が落ちる
- メガネの反射や、縦方向の微妙な移動はやや苦手
みたいな癖があります。自分は乱視が入っていて 視力が0.1以下で分厚い眼鏡をしていますが、 それでも機能しています。 問題は、これをWindows環境で「マウス」として気持ちよく使えるのか、という点です。
Tobii Eye Tracker 5 をマウスとして使うために
Windows 11 には標準で「視線制御（Eye Control）」機能があるのですが、 Tobii Eye Tracker 5 は（少なくとも標準機能の範囲では） サポート対象外として扱われています。 一個前の機種だったら使えたのですが、 5はゲーム用の機器という扱いで除外されています。 なので「買ったらそのままWindowsの視線制御でマウス代わりにできる」という話ではないです2。
一方で、視線入力でマウス操作を実現するソフトはいくつかあって、 例えば「見るマウス（Mill Mouse）」のような外部ソフトを使うと、 Tobii Eye Tracker 5 でもWindows操作に持ち込めます3。
実際に使ってみると、 視線で「狙う」動作を日常に持ち込めて、 満足度の高い環境になりました。
実際の使用感・設定
使いどころ、弱み強み
Aim Trainer - 無料オンラインエイム練習 というサイトがあるので、そこでの様子を共有します。 トレーニング設定は、ターゲットの大きさを「大」、 制限時間を15sにしています。
こういうゲームをしたことがないので、 多分ゲーマーの人からしたら遅く見えると思うのですが、 僕がやっているのは 目で追ってトラックパッドでタップしているだけです。
また、アプリケーションを利用していて思ったのですが、 横方向の動きはとても安定しています。 これは実験でも同じで、横の精度は高い一方で縦の精度が微妙にずれます。 おそらく顔の傾きが変わったり、 瞼の影響が大きいのではと思っています。 なので、横並びのカードやメニューの操作との相性はとても良いです。
また、あとで説明するような利用頻度の高いアプリはショートカットが便利ですが、 そこまで頻度が高くなかったり、自作アプリの場合は特に便利です。 既存アプリはフォーカス設計がバラバラな場合があります。 そのため、視線でポインターを直接飛ばせるのはとても便利です。 また、自作アプリもショートカットは基本的に未整備なので、 そこでも動作がスムーズになります4。
あれもやっぱりウェブアプリによっては競合してしまったり、 ウェブアプリ以外には使えないというのが難点です。
ただ、ファイル名が縦に並んでいてそれを選択、 みたいな操作にはめっぽう弱いです。 なので、おおよそのところにマウスを視線で移動させて解除、 あとはトラックパッドで微調整、というのが 現実的な使い方になります。
その他で面白かったのは、自分の視線の動きです。 意識していないのに、視線はするすると動いています。 自分の視線を可視化すると、とても興味深い体験になります。 次のGIFは僕の視線の動きで、 もちろん座標はとれませんし取ったとしても 実験ではないので有益な情報は得られませんが、 変な部分を二度見していてなかなか面白いです。 無意識に動かしているので、UIの開発に活かせるかもしれません。
Mill Mouse と設定
実際にアイトラッカーのデータをマウス操作として扱えるようにしてくれるのは、 Mill Mouse（見るマウス）というアプリです。 Tobii側が推定した視線位置（もしくは頭部追跡の情報）を受け取って、 Windowsのマウスカーソル位置に変換してくれます。 Windows標準の「視線制御」が使えない機種でも、 この手の外部ソフトを噛ませることで「視線でポインターを動かす」操作が成立します。
「見るマウス」の良いところは、単にポインターを追従させるだけでなく、 日常利用で困りがちな部分に対して設定の逃げ道が多いことです。 例えば以下みたいなケースが挙げられます。
- 視線が揺れるので、そのままだとカーソルが落ち着かない（平滑化・感度調整が必要）
- 視線だけで操作し続けると疲れる（オン/オフを切り替えるショートカットが必要）
- クリックの方式をどうするか悩む（物理クリック/滞留クリック/ショートカットなど）
僕の運用としては、
- ポインター移動だけを視線に寄せる
- クリック・微調整はトラックパッド（またはマウス）でやる
という分業に落ち着いています。
「視線で狙って、手で確定する」にすると、
誤クリックが減ってかなり気が楽です。
ショートカットは Ctrl + G にしています(g for gaze)。
利用しているSlackやVSCodeといったアプリで
競合が少ないキーを選び、必要なら既存のショートカットを無効化しています。
ソフトや設定の詳細は更新が早いので、 公式の配布・更新情報は以下を参照するとよいです。
- https://millmouse.wordpress.com/
注意点
ショートカットの理解が先
アイトラッカーは便利なんですが、 たとえば、
- コピーは
Ctrl + C - タブ移動は
Ctrl + Tab - 戻るは
Alt + ←
といった基本操作は、 目でポチポチするものではないですよね。 すべてを目で操作するのは効率的ではないので、 「視線で選ぶ」と「キーボードで飛ぶ」をうまく分けるのがよさそうです。 逆にここが整理できていないと、目が忙しくなってしんどいです。
Chromeのタブ周り
Chromeの基本ショートカットとしては、任意のタブにジャンプできますよね。
Ctrl + 1～Ctrl + 8（左から順番）Ctrl + 9（一番右のタブ）
タブをたくさん開いていると番号が分からなくなりますが、 よく使うものを左に固定すると使いやすくなります。
- 次のタブ →
Ctrl + Tab - 前のタブ →
Ctrl + Shift + Tab
履歴の戻る・進むも大事です。
- 戻る →
Alt + ← - 進む →
Alt + →
これはとても便利です。 マウスで戻るボタンを探すより速いです。
タブの操作も大事ですね。
- 新規タブ →
Ctrl + T - タブを閉じる →
Ctrl + W - 閉じたタブを復元 →
Ctrl + Shift + T
復元は特に覚えておくと安心です。 このくらいでしょうか。
Windowsの基本ショートカット
タスクバーのアプリを番号で起動できますね。 これも目で見てではなく、ショートカットを使った方が早いです。
Win + 1Win + 2Win + 3
タスクバーの左から順番に番号が振られます。 ここを整理しておくと、とても快適になります。
アプリの切替は Alt + Tab ですね。
アイトラッキングとは併用できない認識です。
ウィンドウの分割なんかもショートカットのほうが早いです。
- 左に配置 →
Win + ← - 右に配置 →
Win + → - 最大化 →
Win + ↑ - 最小化 →
Win + ↓
ショートカット設計の悩み
視線位置にポインターを移動する （カーソルをワープさせる）操作を、 どのキーに割り当てるかは悩みどころです。 いろいろ試しましたが、
Ctrl + Shift + E→ Slackで衝突Ctrl + Shift + F→ Google Docsで衝突Ctrl + Alt + Shift→ 押しにくいShift + Alt + F→ 手首が少しつらいShift + Alt + V→Ctrlから指を話したくない
という理由で最終的には、Ctrl + G になりました。
VSCodeで衝突しますが、
VSCodeはかなり調整が効くので衝突した
ショートカットを別のものに割り当てました。
まとめ
Vision Proを触ってわかったのは、 現状で自分が求めている機能は 「視線入力」だということでした。 すべてを目で操作するのではなく、
- 大きな移動は視線
- 細かい選択はトラックパッド
という組み合わせが、とても自然でした。
アイトラッキングは未来の技術というより、 すでに実用域にある補助入力デバイスだと感じています。 アイトラッカーが使えないPCを触っていると、 無意識に「視線でポインターを飛ばしたい」と思ってしまうくらいには、よく使っています。