論文の概要: AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2511.10017v1
• Date: Fri, 14 Nov 2025 01:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.641445
• Title: AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models
• Title（参考訳）: AffordBot: マルチモーダル大言語モデルによる3次元きめ細粒体推論
• Authors: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao,
• Abstract要約: エージェントが3Dシーンの各参照余剰要素、その位置、動きタイプ、動き軸について予測する必要がある。 本稿では,MLLM(Multimodal Large Language Models)とCoT(Chere-of-Thought)推論パラダイムを統合した新しいフレームワークであるAffordBotを提案する。 AffordBotは最先端のパフォーマンスを実現し、3Dポイントのクラウド入力とMLLMだけで強力な一般化と物理的根拠を持つ推論を実証する。
• 参考スコア（独自算出の注目度）: 20.05010202296243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.
• Abstract（参考訳）: 物理的な環境での効果的な人間とエージェントのコラボレーションは、何を行動すべきかだけでなく、実行可能な要素がどこにあるのか、どのように相互作用するかを理解する必要がある。 既存のアプローチは、しばしばオブジェクトレベルで動作したり、不随意にきめ細かな価格推論を処理したり、一貫性、命令駆動の根拠、推論を欠いたりしている。 本研究では,3次元シーンにおける各参照余剰要素に対して,エージェントがタスク命令に基づいて,その空間的位置,動きタイプ,動き軸で構成される構造的三重項を予測する必要がある,細粒度3次元共振方式を提案する。 この課題を解決するために,MLLM(Multimodal Large Language Models)とCoT(Chere-of-Think)推論パラダイムを統合する新しいフレームワークであるAffordBotを提案する。 3次元入力と2次元互換MLLMのギャップを埋めるために、シーンのサラウンドビュー画像とプロジェクション3次元要素候補をこれらのビューに描画し、シーン形状に整合したリッチな視覚表現を形成する。 我々のCoTパイプラインは、アクティブな知覚段階から始まり、MLLMは命令に基づいて最も情報に富む視点を選択し、ステップバイステップの推論により、可測な要素をローカライズし、妥当な相互作用動作を推測する。 SceneFun3Dデータセットに基づいて、AffordBotは最先端のパフォーマンスを達成し、3Dポイントクラウド入力とMLLMのみを使用して、強力な一般化と物理的基盤推論を示す。

関連論文リスト

• REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting [16.896443736904356]
  既存の3Dセグメンテーション手法は、しばしば曖昧で推論に基づく指示を解釈するのに苦労する。 本稿では,オープンワールド推論に基づくセグメンテーションを実現する,革新的なMLLMエージェントフレームワークであるREALMを紹介する。 我々のフレームワークは、オブジェクトの削除、置換、スタイル転送など、様々な3Dインタラクションタスクをシームレスにサポートしています。
  論文  参考訳（メタデータ） (2025-10-18T08:53:08Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
  3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。 室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。 我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
  論文  参考訳（メタデータ） (2024-12-02T11:33:55Z)
• 3D Scene Graph Guided Vision-Language Pre-training [11.131667398927394]
  3次元視覚言語推論(VL)は、3次元物理世界を自然言語記述で橋渡しする可能性から注目されている。 既存のアプローチは通常、タスク固有の高度に専門化されたパラダイムに従う。 本稿では,3次元シーングラフ誘導型視覚言語事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T16:10:44Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。