論文の概要: Gaze-Vergence-Controlled See-Through Vision in Augmented Reality
- arxiv url: http://arxiv.org/abs/2207.02645v1
- Date: Wed, 6 Jul 2022 13:11:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 14:18:41.103002
- Title: Gaze-Vergence-Controlled See-Through Vision in Augmented Reality
- Title（参考訳）: 拡張現実における視線バーゲンス制御シースルービジョン
- Authors: Zhimin Wang, Yuxin Zhao, and Feng Lu
- Abstract要約: 我々は、例えば、空中クリックや音声など、共通の相互作用のモダリティを使用することは、視線を通すのに最適な方法ではないと論じる。
これは、何かを通して見たいとき、視線深度/収束度と物理的に関係しているからです。
本稿では,ARにおける新しい視線バージェンス制御(GVC)シースルービジョン技術を提案する。
- 参考スコア（独自算出の注目度）: 8.731965517676842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmented Reality (AR) see-through vision is an interesting research topic
since it enables users to see through a wall and see the occluded objects. Most
existing research focuses on the visual effects of see-through vision, while
the interaction method is less studied. However, we argue that using common
interaction modalities, e.g., midair click and speech, may not be the optimal
way to control see-through vision. This is because when we want to see through
something, it is physically related to our gaze depth/vergence and thus should
be naturally controlled by the eyes. Following this idea, this paper proposes a
novel gaze-vergence-controlled (GVC) see-through vision technique in AR. Since
gaze depth is needed, we build a gaze tracking module with two infrared cameras
and the corresponding algorithm and assemble it into the Microsoft HoloLens 2
to achieve gaze depth estimation. We then propose two different GVC modes for
see-through vision to fit different scenarios. Extensive experimental results
demonstrate that our gaze depth estimation is efficient and accurate. By
comparing with conventional interaction modalities, our GVC techniques are also
shown to be superior in terms of efficiency and more preferred by users.
Finally, we present four example applications of gaze-vergence-controlled
see-through vision.
- Abstract（参考訳）: augmented reality (ar) see-through visionは、ユーザーが壁を覗き込み、目立たない物体を見ることができるので、興味深い研究テーマである。
既存の研究のほとんどは透視の視覚効果に焦点を当てているが、相互作用の方法はあまり研究されていない。
しかし、例えば、空中クリックや音声など、共通の相互作用のモダリティを使用することは、視線を通すのに最適な方法ではないかもしれないと論じる。
これは、何かを通して見たいとき、それは視線深度/収束度と物理的に関係しているため、眼によって自然に制御されるべきである。
そこで本研究では,ARにおける新しい視線バージェンス制御(GVC)シーススルービジョン技術を提案する。
視線深度が必要なため、2つの赤外線カメラとそれに対応するアルゴリズムを備えた視線追跡モジュールを構築し、それをMicrosoft HoloLens 2に組み込んで視線深度推定を行う。
次に、異なるシナリオに適合する2つの異なるGVCモードを提案する。
その結果,視線深度推定は効率的で精度が高いことがわかった。
また,従来のインタラクションモダリティと比較することにより,GVC技術は効率性に優れ,ユーザがより好むことを示す。
最後に,視線バーゲンス制御による透視の4つの応用例を示す。
関連論文リスト
- Mind the GAP: Glimpse-based Active Perception improves generalization and sample efficiency of visual reasoning [0.7999703756441756]
視覚関係を理解する人間の能力は、AIシステムよりもはるかに優れている。
Glimpse-based Active Perception (GAP) システムを開発した。
その結果,GAPは即時的な視覚内容を超えた視覚関係の抽出に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2024-09-30T11:48:11Z) - POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object
Interaction in the Multi-View World [59.545114016224254]
人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。
本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T09:54:44Z) - 3D Gaze Vis: Sharing Eye Tracking Data Visualization for Collaborative
Work in VR Environment [3.3130410344903325]
私たちは、視線カーソル、視線スポットライト、視線軌跡の3つの異なる視線追跡データ可視化を、人間の心臓のコースのためにVRシーンで設計しました。
医師の視線カーソルは、複雑な3D心臓モデルをより効果的に学習するのに役立ちます。
その結果,視線追跡データの視覚化により,VR環境における協調作業の品質と効率が向上することが示唆された。
論文 参考訳（メタデータ） (2023-03-19T12:00:53Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - RAZE: Region Guided Self-Supervised Gaze Representation Learning [5.919214040221055]
RAZEは、非注釈の顔画像データを利用する地域誘導型自己教師型gAZE表現学習フレームワークである。
Ize-Netはカプセル層ベースのCNNアーキテクチャで、リッチアイ表現を効率的に捉えることができる。
論文 参考訳（メタデータ） (2022-08-04T06:23:49Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳（メタデータ） (2022-06-14T12:47:47Z) - GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。
私たちのデータ収集は特定のシーンに縛られません。
視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-20T13:17:39Z) - Searching the Search Space of Vision Transformer [98.96601221383209]
視覚変換器は、認識や検出などの視覚的なタスクにおいて、大きな視覚的表現力を示してきた。
我々は,このプロセスを自動化するために,アーキテクチャだけでなく検索空間も探索することで,ニューラルアーキテクチャサーチを提案する。
空間探索プロセスに応じて広範に解析を行う汎用視覚変換器の設計ガイドラインを提供する。
論文 参考訳（メタデータ） (2021-11-29T17:26:07Z) - Imitation Learning with Human Eye Gaze via Multi-Objective Prediction [3.5779268406205618]
本稿では,新しい文脈認識型模倣学習アーキテクチャであるGaze Regularized Imitation Learning (GRIL)を提案する。
GRILは人間のデモンストレーションと視線の両方から同時に学習し、視覚的注意が重要なコンテキストを提供するタスクを解決する。
GRILは、最先端の視線に基づく模倣学習アルゴリズムよりも優れており、同時に人間の視覚的注意を予測し、トレーニングデータに存在しないシナリオに一般化する。
論文 参考訳（メタデータ） (2021-02-25T17:13:13Z) - LNSMM: Eye Gaze Estimation With Local Network Share Multiview Multitask [7.065909514483728]
本稿では,視線点と視線方向を同時に推定する新しい手法を提案する。
本手法は,視線点と視線方向の2つの指標について,現在主流の手法であることを示す。
論文 参考訳（メタデータ） (2021-01-18T15:14:24Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。