五感すべてを刺激するメタバース

Sep 05, 2023

博士。 ジェロン・ヴァン・ハム | 2023 年 4 月 7 日

エレクトロニクス業界が仮想現実 (VR) と拡張現実 (AR) を改良し続ける一方で、メタバースというさらに拡張的な概念も登場しています。 AR と VR は本質的に視覚的なものですが、メタバースでは私たちの感覚をすべて働かせて、現実世界とデジタル世界をさらに豊かな体験に融合させることが期待されています。

VR と AR は視覚的なものかもしれませんが、その視覚的な体験を提供するには、光の検出や発光とは何の関係もない一連のセンサーとアクチュエーターが必要です。 位置決め、安定性、および動きのためのセンサーは基本です。 これらのさまざまなセンサーからのデータを処理する必要があり、そのデータを統合して、より豊かで楽しい体験を徐々に生み出すことができるソフトウェアを継続的に改良する必要があります。 VR/AR の開発は決して小さな挑戦ではありません。

メタバース エクスペリエンスには、より多くのセンサー、より多くの異なる種類のセンサー、はるかに優れた処理能力、そしてより洗練されたソフトウェアが必要になります。 これらすべてを調整することは、はるかに困難な作業であり、確実に達成可能ですが、そのプロセスは間違いなく私たち全員を忙しくさせます。

メタバースがどのようなものかをよりよく理解するには、現在の状況を簡単に確認すると役に立ちます。

VR には、すべてがコンピューターで生成されている限り、物理世界の現実の場所のデジタル表現、存在しない環境の仮想描写、または一見現実と空想の考えられるあらゆる組み合わせが含まれる可能性があります。

AR と複合現実 (MR) はどちらも現実の物理世界から始まり、その後に仮想的なものを追加します。 仮想要素には、単純な英数字データからアニメーション化されたオブジェクト、キャラクター、シーンまで、あらゆるものを含めることができます。 AR と MR の違いはまだ意見の分かれるところです。 区別がなされる場合、それは通常、程度の問題、つまり現実と仮想のバランスに関するものです。

さらに厄介なことに、XR もあります。 一部の人にとって、XR の X は、それぞれ VR、AR、MR の V、A、M の代用にすぎません。 XR の X は「拡張」を意味するという人もいますが、もちろんそれが何を意味するかについても合意はありません。 拡張現実はメタバースと同義であるかもしれませんし、そうでないかもしれません。 あるいは、この話題が出るたびに人々が「VR、AR、MR、メタバース」を挙げる手間を省くための単なる包括的な用語に終わるかもしれません。

用語はまだあいまいですが、関連するテクノロジーは、少なくとも現時点ではある程度決定的であると考えられます。 まず、VR はゴーグルの使用によって定義され、おそらくこれからもそうでしょう。

現在のところ、AR と MR は両方とも、透明な媒体 (眼鏡またはゴーグル)、または透明であるかのように動作できるカメラと画面の組み合わせを備えたもの (スマートフォン、またはやはりゴーグル) に依存する傾向があります。ユーザーがデジタル データと画像を認識できるようにする何らかのメカニズムによって。 現在、AR と MR のテクノロジーは非常に似ており、XR が何かであるかどうかは適切に定義されていません。そのため、このエッセイの残りの部分では、物事を単純にして、VR、AR、およびメタバースについてのみ言及します。

メタバースの定義についても合意はありませんが、私たちは以前に意見を述べました。 VR や AR を超えて、視覚、聴覚、触覚、嗅覚、味覚を網羅しない限り、メタバースを構築することに意味はないと考えています。

したがって、メタバースは、ゴーグルやメガネを補完し、おそらくそれらに取って代わるテクノロジーによって定義されると考えています。 これにはほぼ確実にウェアラブル機器が含まれることになります。 ウェアラブルは、宝飾品 (スマート ウォッチなど) からスマート ウェア、人工装具に至るまで、ほぼあらゆる形態をとる可能性があり、遠い将来には医療用インプラントに至る可能性もあります。

人間は視覚的な生き物であり、それは今後も変わらないため、VR と AR は当然メタバースの基礎要素となるでしょう。 ディスプレイは VR と AR の両方の基礎です。

VR システムは、ほぼ独占的にゴーグルに挿入されたデジタル スクリーンに依存します。 AR システムが異なればアプローチも異なりますが、一般的には、ユーザーの視野のどこかに小さなデジタル ディスプレイを取り付けるか、眼鏡のレンズにデジタル コンテンツを投影するかのどちらかになります。

TDK は最近、新しい投影オプションを導入しました。 私たちは、フルカラーのデジタル画像を投影する小型軽量レーザー モジュールを作成しました。 ゴーグルやメガネのレンズに組み込まれた反射板は、投影をユーザーの網膜に直接導きます。 この技術の素晴らしい付加的な利点は、視覚が不完全な人でも鮮明でクリアな画像を生成できることです。

このアプローチにより、他のディスプレイ技術を使用したヘッドセットよりも小型で重量が大幅に軽いヘッドセットを構築することが可能になります。 VR ゴーグルでは重量は大きな問題ではないかもしれませんが、より軽いヘッドセットが高く評価されるのは間違いありません。 ただし、AR ヘッドセットにはサイズと重量が問題になります。 これまで大衆市場が AR に無関心だったのは、少なくとも部分的には、ハードウェアが目障りで、重く、魅力的ではなかったことに起因しています。

私たちは、小型レーザー モジュールを備えた AR ヘッドセットを構築することで、AR ヘッドセットの販売と AR アプリケーション開発を加速できると考えています。

文字通り、考えられるすべての人間の動きを VR または AR アプリケーションに組み込むことができるため、頭の回転、指の向き、体のしゃがみをすべて 6 自由度 (6DoF) または 9 自由度 (9DoF) で検出できる必要があります。 。 これらのセンサーは非常に正確である必要があります。 不正確な動き検出は、一部のユーザーにさまざまな程度の見当識障害を引き起こす可能性があります。

動きは一つのことです。 立場は別です。 VR ユーザーは空間内を前方、後方、または横方向に移動する可能性がありますが、一般に VR アプリケーションはユーザーにその動作を強制しません。 とはいえ、たとえば壁との衝突を避けるために、VR リグが実空間でユーザーのいる場所を検出して追跡できることは、ユーザーの安全にとって常に重要な問題です。 さらに、その環境内にある他のもの (家具、他の人、ペットなど) を検出すると便利です。

一方、ほとんどの AR システムは、現実の物理空間での完全な可動性を考慮する必要があるため、正確な位置検知が必要です。 AR の概念には、気が散る危険性が内在しています。 AR リグを装着しているときはいつでも、ユーザーは本を読んだり、ビデオを見たり、仮想オブジェクトに反応したりすることができます。 AR システムがユーザーに代わって環境を認識することでユーザーの注意散漫を補うことは不可欠です。

環境と固定位置の検出に使用できるセンサーには次のものがあります。

3 軸加速度計と 3 軸ジャイロスコープを組み合わせて 6DoF で動きを検出します。 3 軸磁力計を統合することで 9DoF のセンシングが実現します。 これらのセンサーは、特定の VR または AR アプリケーション、または一連のアプリケーションの要件に応じて、ほぼあらゆる組み合わせで使用できます。

たとえば、シングルユーザー VR アプリには ToF センシングが必要ですか? そうでないかもしれない。 しかし、またかもしれません。 ToF センシングを追加する理由の 1 つは、VR ユーザーの手が実空間のどこにあるかを正確に判断して、手の正確なデジタル描写を仮想世界に組み込むことができるようにすることです。 一定の最低レベルの精度があれば、一部の VR リグがハンド トラッキングに使用する余分なハンドヘルド デバイスを廃止することが可能になります。

あるいは、マルチユーザー VR ゲームを検討してください。 ToF センサーを使用して、現実世界でのプレイヤー間の相対位置を特定し、その情報を 2 つのモードで使用できます。現実世界では衝突を回避し、仮想世界ではプレイヤーのアバターが干渉しないようにすることができます。お互い。

AR リグには、動き検出、位置決め、物体検出のための最も高度なセンサー スイートは必要ないかもしれないという学説があります。 その提案は、環境にセンサーがちりばめられ、関連データが収集され、ワイヤレス ネットワークを通じてすべての AR ユーザー (最終的にはメタバース ユーザー) 間で共有されるというものです。

最終的にはそうなる可能性が非常に高いですが、近いうちに世界がこれほどセンサーが充実するようになる、あるいは広範囲をカバーする適切な無線インフラが整備されるだろうと考えるのは楽観的かもしれません。 私たちの推定では、AR リグが独自のセンシングのほとんどまたはすべてを実行すれば、世界はより早く有用な AR (およびメタバース) を実現できると考えられます。 より多くのローカル処理が必要になる可能性がありますが、ラグや遅延のリスクは低くなり、その方がユーザー データの保護も容易になるはずです。

VR リグがマイクを使用して現実世界の環境からサウンドを組み込むには、いくつかの理由がある可能性があります。 一方で、AR リグが環境音声を監視する理由はたくさんあります。

音声認識だけでも数え切れないほど役立つ可能性があります。 誰かが音声で伝えたあらゆる情報が直接使用される可能性があります。 住所や場所への道順を地図アプリに自動的に入力できます。 言語翻訳アプリが自動的に起動される可能性があります。 周囲の音声を単独で、またはビデオと組み合わせて録音する理由はたくさんあります。

スマートフォンにカメラを組み込むのと同じ目的で、AR リグにカメラを埋め込みたいと思うでしょう。 実際、AR リグが一部のスマートフォン、おそらく最終的にはすべてのスマートフォンに置き換わる可能性があると予想する人もいます。 そして、AR 開発者がオーディオとビデオを使用してどのようなアプリケーションを考案できるかは誰にもわかりません。

メタバースが最終的に私たちの感覚をすべて刺激するようになれば、メタバース リグにはモーション センサー、位置センサー、カメラ、マイクも組み込まれることは間違いありません。

しかし、タッチについてはどうでしょうか？ 動きの検出、位置決め、物体検出に使用される多くの同じセンサーからのデータを触覚デバイスに入力できます。 これらは、ブレスレットから手袋、部分的または全身用のスーツに至るまで、あらゆるものになる可能性があります。

現在開発中の触覚技術は、何かが触れられていることを物理的にフィードバックするだけでなく、その物体の質感を伝えることもできます。

VR と AR では、「リグ」は本質的にゴーグル、眼鏡、つまり何らかのタイプのヘッドセットです。 ただし、メタバースはモジュール化される傾向があり、各人が使用することを選択したメタバース アプリと、メタバース エクスペリエンスにどれだけ没入感を求めるかに応じて、任意に組み合わせて使用​​できるさまざまなウェアラブルが含まれます。

五感を完成させるのは味覚と嗅覚です。 たとえば、CO2 検出器は一般的に入手可能であり、ほとんどの人が自分では検出できない潜在的に危険な環境状態について警告を発することができます。

匂いや味の検出は、今日すでに、さまざまな化学化合物の存在、さらにはその割合を識別できるさまざまな検出器やセンサーを使用して行われています。

ユーザーのために味と匂いを再現することは、まだ SF の領域です。 実際、メタバース リグでは、レシピの味がどのようなものであるか、理論的に選択したさまざまな香りが香水に組み合わされた場合にどのような香りがするかを私たちに伝えることはおそらく決してできないでしょう。 そうは言っても、ガスや化学物質の検知器を選択すれば、その食品が食べても安全ではないかどうか、あるいは注文したばかりのカクテルにどの特定の銘柄の酒が使用されているかを知ることができるかもしれません。

テキスト形式の詳細