論文の概要: Empowering 3D Visual Grounding with Reasoning Capabilities

• arxiv url: http://arxiv.org/abs/2407.01525v2
• Date: Tue, 2 Jul 2024 07:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 20:11:58.696446
• Title: Empowering 3D Visual Grounding with Reasoning Capabilities
• Title（参考訳）: 推論機能を備えた3次元視覚グラウンドの実現
• Authors: Chenming Zhu, Tai Wang, Wenwei Zhang, Kai Chen, Xihui Liu,
• Abstract要約: 我々は3D推論基底と呼ばれる新しいタスクを提案し、新しいベンチマークScanReasonを導入する。 ScanReasonは、推論とグラウンドの相乗化を必要とする5つの推論タイプから10万以上の質問と回答のペアを提供する。 提案手法は, 推論において, 分岐推論と接地ステップにより, さらなる性能向上を図っている。
• 参考スコア（独自算出の注目度）: 23.18281583681258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although great progress has been made in 3D visual grounding, current models still rely on explicit textual descriptions for grounding and lack the ability to reason human intentions from implicit instructions. We propose a new task called 3D reasoning grounding and introduce a new benchmark ScanReason which provides over 10K question-answer-location pairs from five reasoning types that require the synerization of reasoning and grounding. We further design our approach, ReGround3D, composed of the visual-centric reasoning module empowered by Multi-modal Large Language Model (MLLM) and the 3D grounding module to obtain accurate object locations by looking back to the enhanced geometry and fine-grained details from the 3D scenes. A chain-of-grounding mechanism is proposed to further boost the performance with interleaved reasoning and grounding steps during inference. Extensive experiments on the proposed benchmark validate the effectiveness of our proposed approach.
• Abstract（参考訳）: 3次元の視覚的グラウンドリングでは大きな進歩があったが、現在のモデルでは、グラウンド化のために明示的なテキスト記述に依存しており、暗黙の指示から人間の意図を推論する能力が欠如している。 我々は3D推論基底と呼ばれる新しいタスクを提案し、新しいベンチマークScanReasonを導入し、推論とグラウンドの相乗化を必要とする5つの推論タイプから10万以上の質問応答位置ペアを提供する。 さらに,マルチモーダル大言語モデル(MLLM)による視覚中心推論モジュールと3次元接地モジュールから構成されるReGround3Dを設計し,拡張された幾何学的手法や3次元シーンの細部の詳細を振り返って,正確な物体位置を求める。 提案手法は, 推論において, 分岐推論と接地ステップにより, さらなる性能向上を図っている。 提案手法の有効性を検証したベンチマーク実験を行った。

関連論文リスト

• Multi-Object 3D Grounding with Dynamic Modules and Language-Informed Spatial Attention [12.203336176170982]
  D-LISAは3つのイノベーションを取り入れた2段階のアプローチである。 まず、可変で学習可能なボックスの提案を可能にする動的視覚モジュール。 第二に、提案毎に特徴を抽出するダイナミックカメラの位置決め。 第三に、言語インフォームド空間アテンションモジュールは、最終的な予測を出力する提案に対してより良い理由を持つ。
  論文  参考訳（メタデータ） (2024-10-29T17:52:20Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model [108.35777542298224]
  本稿では,包括的3次元理解のための新しい大規模言語モデルReason3Dを紹介する。 拡張シーン内の小さな物体を見つけるための階層型マスクデコーダを提案する。 大規模なScanNetとMatterport3Dデータセットにおいて、Reason3Dが顕著な結果が得られることを検証する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:41Z)
• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)
• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)
• 3D Concept Learning and Reasoning from Multi-View Images [96.3088005719963]
  3次元多視点視覚質問応答のための大規模ベンチマーク(3DMV-VQA)を提案する。 このデータセットは、約5kのシーンと600kのイメージで構成され、50kの質問と組み合わせられている。 本稿では,ニューラルネットワーク,2次元事前学習型視覚言語モデル,ニューラル推論演算子をシームレスに組み合わせた新しい3次元概念学習・推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-20T17:59:49Z)
• From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction [80.67873933010783]
  我々は,MDPが現在,3Dアプリケーションにおける予測の有用性を評価するのに有効な指標に頼っていることを論じる。 これにより、2Dベースの距離を最適化するのではなく、シーンの3D構造を正確に認識し、推定に向けて改善する新しい手法の設計と開発が制限される。 本稿では,MDP手法の3次元幾何評価に適した指標セットと,提案手法に不可欠な室内ベンチマークRIO-D3Dを提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:50:54Z)
• Improving 3D Object Detection with Channel-wise Transformer [58.668922561622466]
  我々は手作りの最小限の設計で2段階の3Dオブジェクト検出フレームワーク(CT3D)を提案する。 CT3Dは、提案対応の埋め込みとチャンネルワイドコンテキストアグリゲーションを同時に行う。 これはKITTIテスト3D検出ベンチマークで中等車カテゴリーで81.77%のAPを達成した。
  論文  参考訳（メタデータ） (2021-08-23T02:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。