論文の概要: Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding

• arxiv url: http://arxiv.org/abs/2504.09623v1
• Date: Sun, 13 Apr 2025 15:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:47.489348
• Title: Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding
• Title（参考訳）: Ges3ViG:身体的参照理解のための言語に基づく3次元視覚グラウンドへのポインティング・ジェスチャの導入
• Authors: Atharv Mahesh Mane, Dulanga Weerakoon, Vigneshwaran Subbaraju, Sougata Sen, Sanjay E. Sarma, Archan Misra,
• Abstract要約: 3次元身体的参照理解(3D-ERU)は、言語記述と付随するポインティングジェスチャーを組み合わせて、3Dシーンにおいて最も関連性の高い対象物を特定する。 データ拡張フレームワーク-Imputerを導入し、新しいベンチマークデータセット-ImputeRefer for 3D-ERUをキュレートする。 また,他の3D-ERUモデルと比較して30%の精度向上を実現し,他の純粋言語ベースの3Dグラウンドモデルと比較して9%の精度向上を実現した3D-ERUの新しいモデルGes3ViGを提案する。
• 参考スコア（独自算出の注目度）: 5.568166420745467
• License:
• Abstract: 3-Dimensional Embodied Reference Understanding (3D-ERU) combines a language description and an accompanying pointing gesture to identify the most relevant target object in a 3D scene. Although prior work has explored pure language-based 3D grounding, there has been limited exploration of 3D-ERU, which also incorporates human pointing gestures. To address this gap, we introduce a data augmentation framework-Imputer, and use it to curate a new benchmark dataset-ImputeRefer for 3D-ERU, by incorporating human pointing gestures into existing 3D scene datasets that only contain language instructions. We also propose Ges3ViG, a novel model for 3D-ERU that achieves ~30% improvement in accuracy as compared to other 3D-ERU models and ~9% compared to other purely language-based 3D grounding models. Our code and dataset are available at https://github.com/AtharvMane/Ges3ViG.
• Abstract（参考訳）: 3次元身体的参照理解(3D-ERU)は、言語記述と付随するポインティングジェスチャーを組み合わせて、3Dシーンにおいて最も関連性の高い対象物を特定する。 従来の研究は純粋言語に基づく3Dグラウンドを探索してきたが、3D-ERUの探索は限られており、人間のポインティング・ジェスチャも組み込まれている。 このギャップに対処するため、我々はデータ拡張フレームワーク-Imputerを導入し、言語命令のみを含む既存の3Dシーンデータセットに人間のポインティングジェスチャーを組み込むことで、新しいベンチマークデータセット-ImputeRefer for 3D-ERUをキュレートする。 また,他の3D-ERUモデルと比較して3D-ERUの精度が30%向上し,他の純粋言語に基づく3Dグラウンドモデルに比べて9%向上した3D-ERUの新しいモデルGes3ViGを提案する。 私たちのコードとデータセットはhttps://github.com/AtharvMane/Ges3ViG.comで公開されています。

関連論文リスト

• AugRefer: Advancing 3D Visual Grounding via Cross-Modal Augmentation and Spatial Relation-based Referring [49.78120051062641]
  3Dビジュアルグラウンドティングは、自然言語記述と対象物とを3Dシーン内で関連付けることを目的としている。 既存のアプローチでは、トレーニング用に利用可能なテキスト3Dペアが不足しているのが一般的である。 AugReferは3次元視覚的接地を前進させる新しい手法である。
  論文  参考訳（メタデータ） (2025-01-16T09:57:40Z)
• ViGiL3D: A Linguistically Diverse Dataset for 3D Visual Grounding [9.289977174410824]
  3Dビジュアルグラウンドティングは、自然言語テキストによって参照される3Dシーンでエンティティをローカライズする。 多様な言語パターンに対して視覚的接地手法を評価するための診断データセットである3D (ViGiL3D) の視覚的接地について紹介する。
  論文  参考訳（メタデータ） (2025-01-02T17:20:41Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding [37.47195477043883]
  3D視覚言語グラウンドリングは、言語と3D物理環境の整合性に焦点を当て、エンボディエージェントの開発の基盤となっている。 約68Kの屋内シーンを含む最初の100万スケールの3Dビジョン言語データセットであるSceneVerseを紹介した。 このスケーリングにより、3次元視覚言語学習のための一貫した事前学習フレームワーク、Grounded Pre-training for Scenes (GPS) が実現可能であることを実証する。
  論文  参考訳（メタデータ） (2024-01-17T17:04:35Z)
• Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
  大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。 Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。 強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-10T16:49:21Z)
• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• Cross3DVG: Cross-Dataset 3D Visual Grounding on Different RGB-D Scans [6.936271803454143]
  3Dシーンにおけるクロスデータセット視覚的グラウンド化のための新しいタスク(Cross3DVG)を提案する。 大規模な3DビジュアルグラウンドデータセットであるROOReferを作成しました。 3RScanの1,380の屋内RGB-Dスキャンで、63万以上の3Dオブジェクトが記述されている。
  論文  参考訳（メタデータ） (2023-05-23T09:52:49Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。