論文の概要: GVT3D: Gesture-Vision-Text Token Enrichment for 3D Embodied Reference Understanding

• arxiv url: http://arxiv.org/abs/2611.04422v1
• Date: Tue, 03 Nov 2026 07:09:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:48:05.142228
• Title: GVT3D: Gesture-Vision-Text Token Enrichment for 3D Embodied Reference Understanding
• Title（参考訳）: GVT3D:3次元身体的参照理解のためのジェスチャー・ビジョン・テキスト富化
• Abstract要約: 自然な人間とロボットの相互作用は、ロボットが3D環境の中で言語やジェスチャーを解釈する必要がある。 GVT3DはEmbodied Fusionモジュールを使用し、共通埋め込み空間内で言語、ジェスチャー、視覚入力を共同でモデル化する。 GVT3Dは8%高い精度を実現し、2.95倍高速な実行を可能にした。
• 参考スコア（独自算出の注目度）: 6.317952074861331
• License:
• Abstract: Natural human-robot interaction requires robots to interpret language and gestures within a 3D environment to support tasks such as pick-and-place and object retrieval. 3D Embodied Reference Understanding (3D-ERU) supports this by identifying the 3D location of a target object from a scene (point-cloud) containing a human pointing gesture and an accompanying language description. However, current 3D-ERU models lack alignment of cross-modal representations and incur high processing costs that increase with the point-cloud's size. To address this, we propose GVT3D, which employs an Embodied Fusion module that jointly models language, gesture, and vision inputs within a shared embedding space, promoting cross-modal alignment. We additionally introduce a foveation approach that selectively processes the point cloud within a coarse region around the estimated pointing direction to reduce computations. GVT3D achieves ~8% higher accuracy and foveation enables 2.95x faster execution while maintaining comparable accuracy, relative to prior 3D-ERU models.
• Abstract（参考訳）: 自然な人間とロボットのインタラクションでは、ロボットが3D環境内で言語とジェスチャーを解釈し、ピック・アンド・プレイスやオブジェクト検索などのタスクをサポートする必要がある。 3D Embodied Reference Understanding(3D-ERU)は、人間のポインティングジェスチャと付随する言語記述を含むシーン(ポイントクラウド)から対象物の3D位置を特定することでこれを支援している。 しかし、現在の3D-ERUモデルは、クロスモーダル表現のアライメントが欠如しており、ポイントクラウドのサイズが大きくなるほど高い処理コストがかかる。 そこで本研究では,言語,ジェスチャー,視覚入力を共通埋め込み空間内でモデル化し,相互モーダルアライメントを促進するEmbodied Fusionモジュールを用いたGVT3Dを提案する。 さらに、推定されたポインティング方向の周囲の粗い領域内の点雲を選択的に処理し、計算量を削減するファベーション手法を導入する。 GVT3Dは、従来の3D-ERUモデルと比較して2.95倍高速な実行を実現する。

関連論文リスト

• 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints [92.67359514804048]
  中間表現は、一般化可能な操作ポリシーと大規模事前訓練された視覚言語モデルの間のモダリティギャップを埋める鍵となる。 多視点画像から3次元一貫した経路点(3DWay)を予測することを提案する。 3次元の経路点予測を多視点一貫した2次元の経路点の生成として再構成し、幾何学的三角法により、明示的な3次元運動仕様を実現する。
  論文  参考訳（メタデータ） (2026-09-08T04:18:46Z)
• SAM3D-Guided Object-Centric Representation Alignment for Vision-Language-Action Models [3.2119871428711875]
  本研究では,目標対象の3D事前情報を提供するために,オブジェクト中心の3Dアライメントアライメントフレームワークを提案する。 具体的には、タスク関連オブジェクトをオブジェクト認識モデルでローカライズし、対応するオブジェクトマスクを生成し、SAM3Dを用いて高密度オブジェクトレベルの3D表現を抽出する。 実験は一貫して改善され、LIBEROでは99.1%、CALVINでは平均4.11が達成された。
  論文  参考訳（メタデータ） (2026-07-28T16:05:32Z)
• Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning [51.799524981291235]
  エンドツーエンドの操作ポリシーは、汎用的で巧妙なロボット操作を約束することを示している。 2Dファンデーションモデルから2つの重要な制限を継承する。 これらの問題に対処するために、一連のコントリビューションを提示します。
  論文  参考訳（メタデータ） (2026-06-01T14:01:11Z)
• PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction [57.63073414949329]
  我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
  論文  参考訳（メタデータ） (2026-05-20T17:10:31Z)
• Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment [50.02189698630855]
  本稿では,視覚モダリティのためのコンパクトかつ包括的な3Dプロキシ表現を備えたProxy3D法を提案する。 提案手法は,3次元視覚的質問応答,視覚的接地,空間知能のベンチマークにおいて,競合や最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:47Z)
• Zero-Shot 3D Visual Grounding from Vision-Language Models [10.81711535075112]
  3Dビジュアルグラウンド(3DVG)は、自然言語記述を用いて、3Dシーンで対象物を見つけることを目的としている。 SeeGroundは、2Dビジョンランゲージモデル(VLM)を活用するゼロショット3DVGフレームワークで、3D特有のトレーニングの必要性を回避します。
  論文  参考訳（メタデータ） (2025-05-28T14:53:53Z)
• Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding [5.568166420745467]
  3次元身体的参照理解(3D-ERU)は、言語記述と付随するポインティングジェスチャーを組み合わせて、3Dシーンにおいて最も関連性の高い対象物を特定する。 データ拡張フレームワーク-Imputerを導入し、新しいベンチマークデータセット-ImputeRefer for 3D-ERUをキュレートする。 また,他の3D-ERUモデルと比較して30%の精度向上を実現し,他の純粋言語ベースの3Dグラウンドモデルと比較して9%の精度向上を実現した3D-ERUの新しいモデルGes3ViGを提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:43:06Z)
• InteractVLM: 3D Interaction Reasoning from 2D Foundational Models [85.76211596755151]
  InactVLMは、人体と物体の3次元接触点を、ワン・イン・ザ・ワイルド画像から推定する新しい手法である。 既存の方法は、高価なモーションキャプチャシステムや面倒な手動ラベリングを通じて収集された3Dコンタクトアノテーションに依存している。 本稿では,人間の接触予測を対象のセマンティクス上で明示的に条件付けするセマンティック・ヒューマン・コンタクト推定というタスクを提案する。
  論文  参考訳（メタデータ） (2025-04-07T17:59:33Z)
• SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding [10.81711535075112]
  3Dビジュアルグラウンド(3D Visual Grounding)は、拡張現実(AR)やロボティクス(ロボティクス)などの応用に欠かせない、テキストによる記述に基づく3Dシーンのオブジェクトを見つけることを目的としている。 大規模2次元データに基づいて訓練された2次元視覚言語モデル(VLM)を活用したゼロショット3DVGフレームワークであるSeeeGroundを紹介する。 SeeGroundは3Dのシーンを3Dデータと2D-VLMの入力フォーマットのギャップを埋め、クエリ整列された画像と空間的にリッチなテキスト記述のハイブリッドとして表現している。
  論文  参考訳（メタデータ） (2024-12-05T17:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。