論文の概要: HAMMER: Harnessing MLLM via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding

• arxiv url: http://arxiv.org/abs/2603.02329v1
• Date: Mon, 02 Mar 2026 19:00:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.514221
• Title: HAMMER: Harnessing MLLM via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding
• Title（参考訳）: HAMMER:インテンション駆動3次元グラウンドのためのクロスモーダル統合によるMLLMのハーネス化
• Authors: Lei Yao, Yong Chen, Yuejiao Su, Yi Wang, Moyun Liu, Lap-Pui Chau,
• Abstract要約: 人間は通常、画像やビデオにおける観察された相互作用を通して3Dオブジェクトの空白を識別し、一度形成すれば、そのような知識を新しいオブジェクトに一般化することができる。 この原理に着想を得て,対話駆動型3D測位のためのMLLM(Multimodal large language model)を活用した新しいフレームワーク,すなわちHAMMERを提唱する。
• 参考スコア（独自算出の注目度）: 20.107744857311292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans commonly identify 3D object affordance through observed interactions in images or videos, and once formed, such knowledge can be generically generalized to novel objects. Inspired by this principle, we advocate for a novel framework that leverages emerging multimodal large language models (MLLMs) for interaction intention-driven 3D affordance grounding, namely HAMMER. Instead of generating explicit object attribute descriptions or relying on off-the-shelf 2D segmenters, we alternatively aggregate the interaction intention depicted in the image into a contact-aware embedding and guide the model to infer textual affordance labels, ensuring it thoroughly excavates object semantics and contextual cues. We further devise a hierarchical cross-modal integration mechanism to fully exploit the complementary information from the MLLM for 3D representation refinement and introduce a multi-granular geometry lifting module that infuses spatial characteristics into the extracted intention embedding, thus facilitating accurate 3D affordance localization. Extensive experiments on public datasets and our newly constructed corrupted benchmark demonstrate the superiority and robustness of HAMMER compared to existing approaches. All code and weights are publicly available.
• Abstract（参考訳）: 人間は通常、画像やビデオにおける観察された相互作用を通して3Dオブジェクトの空白を識別し、一度形成すれば、そのような知識を新しいオブジェクトに一般化することができる。 この原理に着想を得て,対話型多モーダル大規模言語モデル(MLLM)を意図駆動型3Dアベイランスグラウンドディング(HAMMER)に活用する新しいフレームワークを提唱する。 対象属性の明示的な記述を生成するか,あるいはオフザシェルフの2Dセグメンタに依存する代わりに,画像に描かれたインタラクション意図を接触認識の埋め込みに集約し,テキスト・アベイランス・ラベルを推測するためにモデルを誘導する。 さらに,3次元表現の洗練のためにMLLMから補完情報を完全に活用する階層的クロスモーダル統合機構を考案し,抽出した目的の埋め込みに空間特性を注入し,正確な3次元アベイランスのローカライゼーションを容易にする多粒形状昇降モジュールを導入する。 公開データセットと新たに構築したベンチマークの大規模な実験は、既存のアプローチと比較して、HAMMERの優位性とロバスト性を示している。 コードとウェイトはすべて公開されています。

関連論文リスト

• REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting [16.896443736904356]
  既存の3Dセグメンテーション手法は、しばしば曖昧で推論に基づく指示を解釈するのに苦労する。 本稿では,オープンワールド推論に基づくセグメンテーションを実現する,革新的なMLLMエージェントフレームワークであるREALMを紹介する。 我々のフレームワークは、オブジェクトの削除、置換、スタイル転送など、様々な3Dインタラクションタスクをシームレスにサポートしています。
  論文  参考訳（メタデータ） (2025-10-18T08:53:08Z)
• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Hierarchical Cross-Modal Alignment for Open-Vocabulary 3D Object Detection [45.68105299990119]
  Open-vocabulary 3D object Detection (OV-3DOD) は、閉じた集合を超えて新しいオブジェクトをローカライズし分類することを目的としている。 我々は,OV-3DODの局所オブジェクトとグローバルシーン情報を同時に学習するための階層型フレームワークHCMAを提案する。
  論文  参考訳（メタデータ） (2025-03-10T17:55:22Z)
• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• 3D Spatial Understanding in MLLMs: Disambiguation and Evaluation [13.614206918726314]
  本研究では,対象対象物体の局所化・曖昧化能力を高める手法を提案する。 提案手法は,文の類似性を評価する従来の指標に対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-09T16:04:32Z)
• Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation [64.07560335451723]
  CoSERは、テキストから3Dへの一貫した高密度テキスト・ツー・イメージ・ジェネレータである。 隣人のビューコヒーレンスを巧みに学習することで効率と品質を両立させる。 物理原理によって明確に定義された運動経路に沿って情報を集約し、詳細を洗練させる。
  論文  参考訳（メタデータ） (2024-08-23T15:16:01Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models [130.40123493752816]
  本調査では,大規模言語モデルによる3Dデータの処理,理解,生成を可能にする方法論の概要について概説する。 我々の研究は、点雲からニューラル放射場(NeRF)まで、様々な3次元データ表現にまたがっている。 3Dシーン理解、キャプション、質問応答、対話などのタスクにおいて、LLMとの統合を検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:59:58Z)
• TransRefer3D: Entity-and-Relation Aware Transformer for Fine-Grained 3D Visual Grounding [15.617150859765024]
  我々はTransformerを、置換不変な3次元点群データに対する自然な適合性に活用する。 本稿では,エンティティとリレーショナルを意識したマルチモーダルコンテキストを抽出するTransRefer3Dネットワークを提案する。 提案手法は既存手法を最大10.6%上回る性能を示した。
  論文  参考訳（メタデータ） (2021-08-05T05:47:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。