論文の概要: 3DAxisPrompt: Promoting the 3D Grounding and Reasoning in GPT-4o

• arxiv url: http://arxiv.org/abs/2503.13185v1
• Date: Mon, 17 Mar 2025 13:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:57.358305
• Title: 3DAxisPrompt: Promoting the 3D Grounding and Reasoning in GPT-4o
• Title（参考訳）: 3DAxisPrompt: GPT-4oにおける3次元グラウンドと推論の促進
• Authors: Dingning Liu, Cheng Wang, Peng Gao, Renrui Zhang, Xinzhu Ma, Yuan Meng, Zhihui Wang,
• Abstract要約: 本稿では3DAxisPromptと呼ばれる新しい視覚的プロンプト手法を導入し,実写シーンにおけるMLLMの3次元理解能力を実現する。 MLLMは3DAxisPromptの助けを借りて、現実のシナリオにおける物体の3D位置を効果的に知覚できることを明らかにする。
• 参考スコア（独自算出の注目度）: 39.453830972834254
• License:
• Abstract: Multimodal Large Language Models (MLLMs) exhibit impressive capabilities across a variety of tasks, especially when equipped with carefully designed visual prompts. However, existing studies primarily focus on logical reasoning and visual understanding, while the capability of MLLMs to operate effectively in 3D vision remains an ongoing area of exploration. In this paper, we introduce a novel visual prompting method, called 3DAxisPrompt, to elicit the 3D understanding capabilities of MLLMs in real-world scenes. More specifically, our method leverages the 3D coordinate axis and masks generated from the Segment Anything Model (SAM) to provide explicit geometric priors to MLLMs and then extend their impressive 2D grounding and reasoning ability to real-world 3D scenarios. Besides, we first provide a thorough investigation of the potential visual prompting formats and conclude our findings to reveal the potential and limits of 3D understanding capabilities in GPT-4o, as a representative of MLLMs. Finally, we build evaluation environments with four datasets, i.e., ScanRefer, ScanNet, FMB, and nuScene datasets, covering various 3D tasks. Based on this, we conduct extensive quantitative and qualitative experiments, which demonstrate the effectiveness of the proposed method. Overall, our study reveals that MLLMs, with the help of 3DAxisPrompt, can effectively perceive an object's 3D position in real-world scenarios. Nevertheless, a single prompt engineering approach does not consistently achieve the best outcomes for all 3D tasks. This study highlights the feasibility of leveraging MLLMs for 3D vision grounding/reasoning with prompt engineering techniques.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、特に慎重に設計された視覚的プロンプトを備えた場合、様々なタスクにまたがる印象的な機能を示す。 しかし、既存の研究は主に論理的推論と視覚的理解に焦点を当てているが、MLLMが3次元視覚で効果的に機能する能力は現在もなお探索の領域である。 本稿では3DAxisPromptと呼ばれる新しい視覚的プロンプト手法を導入し,実写シーンにおけるMLLMの3次元理解機能を実現する。 具体的には,Segment Anything Model (SAM) から生成された3次元座標軸とマスクを用いて,MLLM の幾何学的先行を明示し,実世界の3次元シナリオに印象的な2次元グラウンドと推論能力を拡張する。 GPT-4oの3次元理解能力の可能性と限界をMLLMの代表として明らかにするために,まず視覚的プロンプトフォーマットの可能性について徹底的な調査を行い,その結果を結論づける。 最後に、さまざまな3DタスクをカバーするScanRefer、ScanNet、FMB、nuSceneデータセットの4つのデータセットによる評価環境を構築します。 そこで本研究では,提案手法の有効性を実証し,定量的および定性的な実験を行った。 MLLMは3DAxisPromptの助けを借りて、現実のシナリオにおける物体の3D位置を効果的に知覚できることを示した。 それでも、単一のプロンプトエンジニアリングアプローチは、すべての3Dタスクにおいて、常に最高の結果を達成するわけではない。 本研究は,3次元視覚接地・推論にMLLMを即時工学技術で活用する可能性を強調した。

関連論文リスト

• Video-3D LLM: Learning Position-Aware Video Representation for 3D Scene Understanding [19.382210260928776]
  Video-3D LLMは3Dシーンをダイナミックビデオとして扱い、3D位置エンコーディングをこれらの表現に組み込む。 本モデルは,複数の3次元シーン理解ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T14:28:53Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models [113.18524940863841]
  本調査では,大規模言語モデルによる3Dデータの処理,理解,生成を可能にする方法論の概要について概説する。 我々の研究は、点雲からニューラル放射場(NeRF)まで、様々な3次元データ表現にまたがっている。 3Dシーン理解、キャプション、質問応答、対話などのタスクにおいて、LLMとの統合を検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:59:58Z)
• 3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding [12.823274886850697]
  我々は3DMITという新しい高速なプロンプトチューニングパラダイムを導入する。 このパラダイムは、3Dシーンと言語間のアライメントステージを排除し、命令プロンプトを3Dモダリティ情報で拡張する。 本研究では,3次元シーン領域における多様なタスクにまたがる手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-01-06T12:20:18Z)
• M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts [30.571811801090224]
  M3DBenchと呼ばれる包括的3Dインストラクションフォローデータセットを導入する。 テキスト、画像、3Dオブジェクト、その他の視覚的プロンプトとインターリーブされた一般的なマルチモーダル命令をサポートする。 地域レベルでもシーンレベルでも多様な3Dタスクを統一し、現実世界の3D環境における様々な基本的な能力をカバーしている。
  論文  参考訳（メタデータ） (2023-12-17T16:53:30Z)
• An Embodied Generalist Agent in 3D World [67.16935110789528]
  本稿では,3次元世界における知覚,接地,推論,計画,行動に優れた多モードジェネリストエージェントLEOを紹介する。 我々は,多種多様なオブジェクトレベルおよびシーンレベルのタスクからなる大規模データセットを収集する。 3Dキャプション,質問応答,具体的推論,ナビゲーション,操作など,多岐にわたるLEOの卓越した習熟度を実証した。
  論文  参考訳（メタデータ） (2023-11-18T01:21:38Z)
• Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes [56.727745047799246]
  3Dシーンの理解は幅広い用途で注目されている。 本稿では,事前学習した3次元表現の3次元視覚的知覚能力と,高度なLCMの印象的な推論と会話能力を組み合わせたChat-3Dを提案する。
  論文  参考訳（メタデータ） (2023-08-17T03:52:15Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。