マイクロソフト、手のひら全体を使うタッチUIを研究中

今日のタッチスクリーン・インターフェースの大きな制約の一つに、指先でつつくしかできないことがある。われわれは、手を使ってさまざまなことをしているが、スクリーン上ではつつくだけだ。UIはよくできているが、それはスマートフォンのOSが未だにマウスベースのデスクトップOSをある程度模倣したものだからだ。しかし、Microsoftはもっと自然な手の動きを取り入れて、指先の「クリック」以上のことを実現しようと考えている。

MicrosoftのHrvoje Benko研究員は、手で作った形を認識して空間的に一貫性のあるジェスチャーに変換する方法に取り組んでいる。手を広げて［空手チョップのように］直線を作れば、境界、クロップ（切り抜き）、あるいはオブジェクトを「押す」のに使える。手をグーにすると自動的に拡大鏡が呼び出される、等だ。

これは表面を扱う方法として、実に自然な延長線上にある。なぜなら、実際に人間は多くの物体の表面をそうやって扱うからだ。現在「Rock and Rails」にあるジェスチャーは３種類だけ。「グー」は対象を固定する、パーは直線を示してUI要素をそれに垂直に移動できる、「曲げた手の平」（curved rail）は回転軸を指定する。誰もが他にもいくつか思い付くだろうが、同時にUIの「語彙」を制限することは、それが使いものになるための一要素でもある。何十種類ものジェスチャーを覚えたい人などいない。

表面（surface）といえば、上のビデオのデモは 「Surface」上で行われており、通常のスマートフォンやタブレットとは異なる検出方法 ― 図形の認識がずっと容易 ― が使われている。また、CESで聞いたところによると、新しいSurfaceのユニットには数千画素のカメラも内蔵されていて、パターンや文字も認識できるという。だから、この種の特殊な認識方法がすぐにiPadで可能になることを期待してはいけないが、もちろんそれを実現するかもしれないデベロッパーを甘く見ることも賢明ではない。

詳しい論文は後日公表されるということなので、今のところあるのは上のビデオだけだが、Hrvojeのページに行けば、これを含め彼のプロジェクトを追うことができる。

[原文へ]

（翻訳：Nob Takahashi）