論文の概要: Semantic Interaction in Augmented Reality Environments for Microsoft HoloLens

• arxiv url: http://arxiv.org/abs/2112.05846v1
• Date: Thu, 18 Nov 2021 14:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-19 16:11:46.375375
• Title: Semantic Interaction in Augmented Reality Environments for Microsoft HoloLens
• Title（参考訳）: Microsoft HoloLens用拡張現実環境におけるセマンティックインタラクション
• Authors: Peer Sch\"uett, Max Schwarz, Sven Behnke
• Abstract要約: 屋内環境をキャプチャし、Microsoft HoloLensを使って既知のオブジェクトクラスとのインタラクションキューを表示する。 HoloLensが記録する3Dメッシュは、ユーザが動きながら、投影的なアプローチを使用してセマンティッククラスでアノテートされる。 結果はメッシュに融合され、顕著なオブジェクトセグメントが識別され、ユーザに3Dで表示される。
• 参考スコア（独自算出の注目度）: 28.10437301492564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmented Reality is a promising technique for human-machine interaction. Especially in robotics, which always considers systems in their environment, it is highly beneficial to display visualizations and receive user input directly in exactly that environment. We explore this idea using the Microsoft HoloLens, with which we capture indoor environments and display interaction cues with known object classes. The 3D mesh recorded by the HoloLens is annotated on-line, as the user moves, with semantic classes using a projective approach, which allows us to use a state-of-the-art 2D semantic segmentation method. The results are fused onto the mesh; prominent object segments are identified and displayed in 3D to the user. Finally, the user can trigger actions by gesturing at the object. We both present qualitative results and analyze the accuracy and performance of our method in detail on an indoor dataset.
• Abstract（参考訳）: Augmented Realityは、人間と機械のインタラクションのための有望なテクニックだ。 特にロボット工学では、常に環境のシステムを考える場合、可視化を表示し、その環境で直接ユーザー入力を受け取ることは極めて有益である。 このアイデアをMicrosoft HoloLensを使って検討し、屋内環境をキャプチャし、既知のオブジェクトクラスとのインタラクションキューを表示する。 HoloLensが記録する3Dメッシュは、ユーザが動きながら、プロジェクティブアプローチを使用してセマンティッククラスをオンラインでアノテートするので、最先端の2Dセマンティックセマンティックセマンティックセマンティクス手法が利用できます。 結果はメッシュに融合され、顕著なオブジェクトセグメントが識別され、ユーザに3Dで表示される。 最後に、ユーザはオブジェクトをジェスチャーすることでアクションをトリガーできる。 室内データセットを用いて定性的な結果を示し,その精度と性能を詳細に分析した。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
  我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。 オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。 局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
  論文  参考訳（メタデータ） (2023-09-25T10:23:40Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• ScanERU: Interactive 3D Visual Grounding based on Embodied Reference Understanding [67.21613160846299]
  Embodied Reference Understanding (ERU) はこの懸念に対して最初に設計されている。 ScanERUと呼ばれる新しいデータセットは、このアイデアの有効性を評価するために構築されている。
  論文  参考訳（メタデータ） (2023-03-23T11:36:14Z)
• Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception [31.009703947432026]
  本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。 この課題にインタラクティブな認識アプローチを導入する。 シミュレーションと実世界の両方において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-02T18:22:00Z)
• Lifelong Ensemble Learning based on Multiple Representations for Few-Shot Object Recognition [6.282068591820947]
  本稿では,複数表現に基づく一生涯のアンサンブル学習手法を提案する。 生涯学習を容易にするため、各アプローチは、オブジェクト情報を即座に保存して検索するメモリユニットを備える。 提案手法の有効性を,オフラインおよびオープンエンドシナリオで評価するために,幅広い実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T10:29:10Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• HIDA: Towards Holistic Indoor Understanding for the Visually Impaired via Semantic Instance Segmentation with a Wearable Solid-State LiDAR Sensor [25.206941504935685]
  HIDAは、固体LiDARセンサを用いた3Dポイントクラウドインスタンスセグメンテーションに基づく軽量補助システムである。 システム全体は,3つのハードウェアコンポーネント,2つの対話的機能(障害物回避とオブジェクト探索),および音声ユーザインタフェースから構成される。 提案した3Dインスタンスセグメンテーションモデルは、ScanNet v2データセットで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-07-07T12:23:53Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。