論文の概要: Enhancing Part-Level Point Grounding for Any Open-Source MLLMs

• arxiv url: http://arxiv.org/abs/2606.29267v1
• Date: Sun, 28 Jun 2026 08:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.86246
• Title: Enhancing Part-Level Point Grounding for Any Open-Source MLLMs
• Title（参考訳）: オープンソースMLLMのための部分レベルポイントグラウンドの強化
• Abstract要約: 本稿では,オープンソースMLLMに正確な2次元部分点接点を付与する一般手法を提案する。 我々は、ターゲット関連注意パターンを捕捉し、軽量なアテンション・ツー・ポイント・デコーダでそれらを洗練する。 実験により、我々の設計はデータセット間の部分レベルの接地精度を一貫して改善していることが示された。
• 参考スコア（独自算出の注目度）: 19.44510925136808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual grounding aims to associate free-form textual queries with specific regions in an image. While recent Multimodal Large Language Models (MLLMs) have demonstrated promising capabilities in this domain, they primarily excel at object-level grounding and often struggle with part-level grounding-an essential requirement for fine-grained tasks such as robotic manipulation. In this work, we introduce a general approach that equips any open-source MLLMs with accurate 2D part-level point grounding, offering a more direct alternative to conventional grounding representations. Our method leverages the attention mechanisms inherently present in MLLMs. By synthesizing text-conditioned, grounding-aware queries within intermediate layers via the proposed Q-Synth Module, we capture target-relevant attention patterns and refine them with a lightweight Attention-to-Point Decoder, which converts these patterns into a point-centric heatmap for final prediction. Notably, all original MLLM parameters are frozen, ensuring full preservation of their pre-trained capabilities. Experiments show that our design consistently improves part-level grounding accuracy across datasets and can be seamlessly integrated into any open-source MLLMs.
• Abstract（参考訳）: Visual Groundingは、画像内の特定の領域と自由形式のテキストクエリを関連付けることを目的としている。 最近のMLLM(Multimodal Large Language Models)は、この領域で有望な能力を示しているが、主にオブジェクトレベルのグラウンドリングに優れ、ロボット操作のようなきめ細かいタスクに必要な部分レベルのグラウンドニングに苦労することが多い。 本研究では,オープンソースMLLMに正確な2次元部分点接地を付与し,従来の接地表現よりも直接的な代替手段を提供する一般手法を提案する。 本手法は,MLLMに固有の注意機構を活用する。 提案するQ-Synthモジュールを介して中間層内のテキスト条件付きグラウンド・アウェア・クエリを合成することにより、ターゲット関連注目パターンを捕捉し、それらを軽量なアテンション・ツー・ポイント・デコーダで洗練し、最終的な予測のためにこれらのパターンをポイント中心のヒートマップに変換する。 特に、オリジナルのMLLMパラメータはすべて凍結され、事前訓練された機能の完全な保存が保証される。 実験により、我々の設計はデータセット全体の部分レベルのグラウンド精度を一貫して改善し、任意のオープンソースMLLMにシームレスに統合できることが示されている。

関連論文リスト

• Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation [55.743701532984126]
  我々はTrajSegを提案する。TrajSegはマルチモーダル大規模言語モデル上に構築されたシンプルで統一されたフレームワークである。 本研究では,MLLMが接頭辞(テキスト・トゥ・トラジェクティブ)と接頭辞(テキスト・トゥ・テキスト)の指示を受理する双方向テキスト・トラジェクティブアライメントを提案する。 このようにして、MLLMは、ビデオの対応性の向上と、より知覚的なオブジェクトの軌跡の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2026-03-23T02:25:51Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning [63.109585527799005]
  GroundingAgentは、タスク固有の微調整なしで動作するビジュアルグラウンドティングフレームワークである。 広く使用されているベンチマークでは、平均ゼロショットグラウンドの精度は65.1%である。 また、強い解釈可能性を提供し、各推論ステップを透過的に照らす。
  論文  参考訳（メタデータ） (2025-11-24T03:11:08Z)
• FineRS: Fine-grained Reasoning and Segmentation of Small Objects with Reinforcement Learning [62.11389260206383]
  textscFineRSは、非常に小さなオブジェクトをセグメント化するための2段階のMLLMベースの強化学習フレームワークである。 textscFineRS-4kは,属性レベルの推論に基づくMLLMの評価と,微妙で小規模なターゲットに対する画素レベルのセグメンテーションのための新しいデータセットである。
  論文  参考訳（メタデータ） (2025-10-24T10:14:17Z)
• Spatial Preference Rewarding for MLLMs Spatial Understanding [92.25703021388142]
  マルチモーダル大言語モデル (MLLM) は, 有望な空間理解能力を示した。 彼らの成功にもかかわらず、MLLMは依然として微粒な空間知覚能力に不足している。 本稿では,MLLMの空間能力を高めるSPR(Spatial Preference Rewarding)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:16:18Z)
• VLM-FO1: Bridging the Gap Between High-Level Reasoning and Fine-Grained Perception in VLMs [13.486495756813078]
  VLM(Vision-Language Models)は、高レベルのシーン理解において優れるが、精密なローカライゼーションを必要とする微粒な知覚タスクに重点を置いている。 VLM-FO1は、オブジェクト中心の知覚を堅牢な特徴検索タスクに再フレーミングすることで、この制限を克服する新しいフレームワークである。 本手法は,プリトレーニング済みのVLMと統合したプラグイン・アンド・プレイモジュールとして動作する。
  論文  参考訳（メタデータ） (2025-09-30T08:10:56Z)
• Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding [47.400649582392255]
  大規模言語モデル(MLLM)を用いて,STVGのゼロショットソリューションを探索する。 STVGのためのMLLMベースのゼロショットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T17:35:50Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• Towards Open-World Grasping with Large Vision-Language Models [5.317624228510749]
  オープンワールドの把握システムは、高レベルの文脈と低レベルの物理幾何学的推論を組み合わせることができるべきである。 本稿では,視覚言語モデルとセグメンテーションとグルーピング合成モデルを組み合わせたオープンワールドグルーピングパイプラインOWGを提案する。 乱雑な屋内シーンデータセットを用いて,オープンエンド言語を基盤としたOWGのロバスト性を示す。
  論文  参考訳（メタデータ） (2024-06-26T19:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。