上虎(うえとら)寝たきりゲーム研究所(Uetora Netakiri Game Kenkyusyo)【ツイッター:@ue_tora】

「寝たきり障害者ゲーマー」の上虎(うえとら)と申します。「デュシェンヌ型筋ジス(DMD)」という難病の患者で、重度身体障害者です。寝たきり/人工呼吸器ユーザー(気管切開)。重度身体障害者は普通のゲームコントローラーを使えない場合が多いので、障害があっても使えるゲーム機への入力手段を研究しています。最近では視線検出装置も使われ始めています。障害があってもみんなと同じゲームがしたい!を応援したいので、障害者の方もしくは障害者の関係者の方で、もし相談・質問等があればメールフォームやツイッターのDM等にお気軽に~

上虎寝たきりゲーム研究所(Uetora Netakiri Game Kenkyusyo)【ツイッター:@ue_tora】

 

目でゲーム?視線入力でゲーム機を操作できるアプリ3選

ゲーム機を操作できる「視線入力アプリ(Windows用)」まとめ

ゲーム機を操作できる「Flex Controllerの視線入力用の拡張アプリ(Windows用)」を設定している様子

こんにちは。

寝たきりで指先が少しだけ動く

「寝たきり障害者ゲーマー」の上虎(うえとら)

と申します。

【ツイッター:@ue_tora

ユーチューブ note インスタ

2021/02現在、

目の動きによる入力(視線入力)だけで、ゲーム機を操作してゲームを遊べるようになるWindows用アプリ

が、いくつか発売されています。

※Nintendo Switch(ニンテンドースイッチ)、PS4、PS5等

目の動きによる入力(視線入力)だけでゲームを遊べるという事は、手が不自由で普通のゲームコントローラーを持てなかったり押せなかったりして今までゲームを諦めていた、障害があるお子さんや大人がゲームを遊べる可能性があるという事なんですよね。

このページでは、「視線入力でゲーム」の入口となるページになる事を目指して、必要なデバイスやアプリの紹介をしていきたいと考えています。

※2022/01現在、自分自身は、視線入力装置(アイトラッカー)を設置する場所と顔の位置が合わないため、視線入力はあまり使っていませんが、必要なデバイスとアプリを一通り揃えて色々と試行錯誤して知識は付いたので、視線入力を広める役割は担えるかな思っています。

視線入力をフル活用している友人のお手伝いもしています。(視線入力用アプリを補助するスクリプトをAutoHotkeyで書いたり)

自分も指が本格的に動かなくなった時には、PCモニタ台を変えたり部屋の模様替えをしたりして、視線入力装置(アイトラッカー)を設置する場所と顔の位置を調整して、視線入力をフル活用する事になると思います。

とにもかくにも、ユーザーの眼球の動きを検出してPCに伝える手段、【視線入力装置】が必須アイテムになってきます。

【別の呼び方】
視線追跡装置、視線制御装置、アイトラッカー、Eye Tracker、視線入力デバイス、視線追跡デバイス、視線制御デバイス、等

仕組み的には、赤外線を出して、それが目に当たった時の反射を見ているようです。

引用元:Tobii Pro

視線入力のメカニズム

動画にするとこんな感じです。

 

個人的なイチオシは、【Flex Controller視線入力用の拡張アプリ】です。

理由は、下の画像のアニメーションのような直感的な設定が可能だからです。

(アニメーションが動かない場合はタップまたはクリック。GIFアニメーションです。)

ゲーム機を操作できる「Flex Controllerの視線入力用の拡張アプリ(Windows用)」を設定している様子


共通で必要な物


視線入力装置、
【別の呼び方】
視線追跡装置、視線制御装置、アイトラッカー、Eye Tracker、視線入力デバイス、視線追跡デバイス、視線制御デバイス

繰り返しになりますが、とにもかくにも、ユーザーの眼球の動きを検出してPCに伝える手段、【視線入力装置】が必須アイテムになってきます。

【別の呼び方】

  • 視線追跡装置
  • 視線制御装置
  • アイトラッカー
  • Eye Tracker
  • 視線入力デバイス
  • 視線追跡デバイス
  • 視線制御デバイス

仕組み的には、赤外線を出して、それが目に当たった時の反射を見ているようです。

引用元:Tobii Pro

視線入力のメカニズム

以下のような製品があります。

  1. 2021.02時点
    現行機種

    Tobii
    Eye Tracker 5
  2. 旧機種
    Tobii
    Eye Tracker 4C
    • メーカーHP
      ※旧機種なため製品ページが既に消えているので、チュートリアルページへのリンクです。
      (消さなくてもいいような気が・・・汗)
    • Amazon
    • 2021/02現在、
      Windows10標準搭載の視線制御機能の対応デバイス
      には入っていますが、旧製品なため既に在庫が無くてAmazonで定価で買えない状態なので、マイクロソフト様、まだ未対応の現行機種の【Tobii Eye Tracker 5】の対応を早い段階でしていただきたいです。
      ※Windows10標準搭載の視線制御機能が使用不可でも、他社製の専用アプリを購入すれば同等以上の事ができそうです。
      【例】miyasukuシリーズ
    • Tobii Eye Tracker 4C


HDMIキャプチャーボード

キャプチャーボードのプレビュー機能を使って、ゲーム機の映像と視線入力アプリのボタンを同じPCモニターで見れるようにする必要があります。

ちょっと分かりにくいかもですが、下の画像のようになります。 キャプチャーボードのプレビュー機能を使ってゲーム映像と視線入力アプリの操作ボタンを同じPCモニタ上に表示している様子

  1. AVerMedia
    GC550 PLUS

個人的なイチオシは、【Flex Controller視線入力用の拡張アプリ】です。

理由は、下の画像のアニメーションのような直感的な設定が可能だからです。

(アニメーションが動かない場合はタップまたはクリック。GIFアニメーションです。)

ゲーム機を操作できる「Flex Controllerの視線入力用の拡張アプリ(Windows用)」を設定している様子


Flex Controller視線入力用の拡張アプリ

f:id:ue-tora:20210131090032j:plain f:id:ue-tora:20210120012621j:plain
Flex Controllerの視線入力用の拡張アプリの接続図
Flex Controllerの視線入力用の拡張アプリの接続図


価格

Flex Controller本体の価格:24200円(2021/02現在)

視線入力用の拡張アプリ自体は無料です。


良い点、悪い点

  • 良い点
    1. 設定が直感的で分かりやすい
    2. Nintendo Switchに差すだけで使える
    3. Facebookの方で活発な意見交換がされていて、メーカーさんの方にもアップデートの意欲を感じる。
  • 悪い点
    1. Flex Controller」自体の大きさが割と大きい。病院等で生活していて自分のベッド周りのスペースが限られていて、物を増やしたくないとか増やせない等の場合には、要検討だと思います。


必要な物


視線入力装置

視線入力装置
視線追跡装置
視線制御装置
アイトラッカー
Eye Tracker
視線入力デバイス
視線追跡デバイス
視線制御デバイス


HDMI
キャプチャーボード

キャプチャーボード


【PS4、PS5の場合】
コンバーター

Flex Controller」はNintendo Switch(ニンテンドースイッチ)用のゲームコントローラーなので、PS4とPS5で使うには「変換」が必要になってきます。

「変換」できれば何でも良いっちゃ良いんですが、どうせ買うなら以下の2製品を推しています。(どちらか)

元々は「コンバーター」と呼ばれるジャンルの製品なんですが、ただの「コンバーター」ではなく、通常の「コンバーター」の機能に加えて、「PCに入力されたマウスやキーボード等の入力をゲームコントローラーのボタンに変換する機能」を有するオンリーワンの製品なんですよね。(Nintendo Switch、PS4、PS5全てに対応)

この「入力」には、アプリが生成した仮想的なキーボード入力も含まれます。

また、「コンバーターへの入力」ではなく、「PCへの入力」である事もポイントです。

元々は福祉目的で作られた製品ではないんですが、その機能を有するために結果的に福祉目的で使われるようになった珍しい製品です。

「なぜ、その機能が福祉目的に繋がるのか?」というのは、

  1. PC上の「ソフトウェキーボード(スクリーンキーボード、仮想キーボード)」が使える。福祉目的のソフトウェキーボード製品もあるので。
  2. Titan One限定)「MaxAim DI」というTitan Oneのプラグインが用意されている。マウスカーソルで操作できるPC上の「ソフトウェアゲームコントローラー(仮想ゲームコントローラー)的な物です。

からなんですが、詳しく説明すると長くなるので、このページでは省略させていただきます。

  1. Titan One(タイタンワン)
  2. Titan Two(タイタンツー)


miyasuku Game

f:id:ue-tora:20210120193049p:plain
miyasuku Game接続図


価格

オープン価格(2021/02現在)

※無料試用期間:2週間

僕が2020年に購入した時は、ダウンロード版が9900円でした。


良い点、悪い点

  • 良い点
    1. 物理的なスペースが不要なので、病院等で生活していて自分のベッド周りのスペースが限られていて、物を増やしたくないとか増やせない場合等などには良いかもです。
  • 悪い点
    1. 設定が直感的ではないので、分かりにくい。
    2. Titan Oneのプラグイン「MaxAim DI」と併用できない。


必要な物


miyasuku Game
アプリのダウンロード


視線入力装置

視線入力装置
視線追跡装置
視線制御装置
アイトラッカー
Eye Tracker
視線入力デバイス
視線追跡デバイス
視線制御デバイス


HDMI
キャプチャーボード

キャプチャーボード


Titan One(タイタンワン)

このアプリは、この「Titan One(タイタンワン)」という製品を直に操作する事で間接的にゲーム機を操作する、という仕様なので、必須アイテムです。

実は、この「Titan One(タイタンワン)」というのは、元々は「コンバーター」と呼ばれるジャンルの製品なんですが、ただの「コンバーター」ではなく、通常の「コンバーター」の機能に加えて、「PCに入力されたマウスやキーボード等の入力をゲームコントローラーのボタンに変換する機能」を有するオンリーワンの製品なんですよね。(Nintendo Switch、PS4、PS5全てに対応)

この「入力」には、アプリが生成した仮想的なキーボード入力も含まれます。

また、「コンバーターへの入力」ではなく、「PCへの入力」である事もポイントです。

元々は福祉目的で作られた製品ではないんですが、その機能を有するために結果的に福祉目的で使われるようになった珍しい製品です。

「なぜ、その機能が福祉目的に繋がるのか?」というのは、

  1. PC上の「ソフトウェキーボード(スクリーンキーボード、仮想キーボード)」が使える。福祉目的のソフトウェキーボード製品もあるので。
  2. MaxAim DI」というTitan Oneのプラグインが用意されている。マウスカーソルで操作できるPC上の「ソフトウェアゲームコントローラー(仮想ゲームコントローラー)的な物です。

からなんですが、詳しく説明すると長くなるので、このページでは省略させていただきます。

Titan One
(タイタンワン)


Project IRIS

Project IRIS(プロジェクトアイリス)
Project IRIS(プロジェクトアイリス)接続図


価格

39.00ユーロ=日本円換算で約5000円(2021/02現在)

※無料試用期間:2週間


良い点、悪い点

  • 良い点
    1. 物理的なスペースが不要なので、病院等で生活していて自分のベッド周りのスペースが限られていて、物を増やしたくないとか増やせない場合等などには良いかもです。ただし、下に書いている「悪い点1と2」をクリアできるPCスキルが必要。スクリプト言語「AutoHotkey」を使いこなす事ができれば柔軟にカスタマイズはできます。
  • 悪い点
    1. Project IRIS」が出力するキーボードのキーは、「press once」とか「hold」とかあるものの、キーの押し下げと押し上げのタイミングが微妙で、「press once」を使うと反応しなかったり、「hold」を使うとメニュー画面等で使うと押し上げが遅くてボタン押しすぎて通り過ぎたりするので、「Project IRIS」自体のマクロ機能を使ったり、外部のスクリプト言語等(AutoHotkey等)で微調整する必要があります。(僕はAutoHotkey派です)
    2. Project IRIS」自体の設定は直感的で分かりやすいのですが、それをゲーム機に伝えるために複数のアプリを掛け合わせる必要があり、それらを連携させるための設定が複雑。
      1. 【例1】vJoyVirtual ControllerAutoHotkeyMaxAim DIAutoHotkeyは省略でもOK)
      2. 【例2】UCR(Universal Control Remapper)
    3. 海外製なので、やりとりが英語になってしまいます。


必要な物


アプリのダウンロード

ダウンロード先


視線入力装置

視線入力装置
視線追跡装置
視線制御装置
アイトラッカー
Eye Tracker
視線入力デバイス
視線追跡デバイス
視線制御デバイス


HDMI
キャプチャーボード

キャプチャーボード


コンバーター

このアプリの出力は単なる「キーボードのキー」なので、それをゲーム機に伝える「手段」が必要になってきます。

その際の必須アイテムが、以下の2種類の「コンバーター」です。(どちらか)

実は、その「手段」の役割を担当するのに必要な、「キーボードのキーをゲームコントローラーのボタンに変換する機能」を有しています。

元々は「コンバーター」と呼ばれるジャンルの製品なんですが、ただの「コンバーター」ではなく、通常の「コンバーター」の機能に加えて、「PCに入力されたマウスやキーボード等の入力をゲームコントローラーのボタンに変換する機能」を有するオンリーワンの製品なんですよね。(Nintendo Switch、PS4、PS5全てに対応)

この「入力」には、アプリが生成した仮想的なキーボード入力も含まれます。

また、「コンバーターへの入力」ではなく、「PCへの入力」である事もポイントです。

元々は福祉目的で作られた製品ではないんですが、その機能を有するために結果的に福祉目的で使われるようになった珍しい製品です。

「なぜ、その機能が福祉目的に繋がるのか?」というのは、

  1. PC上の「ソフトウェキーボード(スクリーンキーボード、仮想キーボード)」が使える。福祉目的のソフトウェキーボード製品もあるので。
  2. Titan One限定)「MaxAim DI」というTitan Oneのプラグインが用意されている。マウスカーソルで操作できるPC上の「ソフトウェアゲームコントローラー(仮想ゲームコントローラー)的な物です。

からなんですが、詳しく説明すると長くなるので、このページでは省略させていただきます。

  1. Titan One(タイタンワン)
  2. Titan Two(タイタンツー)

aaa