論文の概要: Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding

• arxiv url: http://arxiv.org/abs/2606.16158v1
• Date: Mon, 15 Jun 2026 03:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.050992
• Title: Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding
• Title（参考訳）: 必要なときに焦点を合わせる: 学習自由な視覚的接地のための適応的ルーティングと協調的接地
• Authors: Yifan Wang, Peiming Li, Shiyu Li, Zhiyuan Hu, Xiaochen Yang, Wenming Yang, Yang Tang, Zheng Wei,
• Abstract要約: LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。 LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
• 参考スコア（独自算出の注目度）: 56.38477453373368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Multimodal Large Language Models (MLLMs) excel in cross-modal reasoning, they often struggle to perceive fine-grained details in complex high-resolution images. Recent training-free methods address this through image scaling and localized cropping. However, applying these manipulations indiscriminately introduces computational redundancy for simple queries and can degrade accuracy by truncating essential global context or introducing irrelevant background noise. To this end, we propose LazyMCoT, a dynamic and training-free framework that adaptively allocates visual grounding efforts based on sample difficulty. The framework features an Adaptive Routing mechanism that evaluates predictive uncertainty using first-token statistics from a single forward pass. This efficiently bypasses confident cases while ensuring the recall of difficult samples via conformal calibration. For these challenging cases, a Collaborative Grounding module integrates the inherent cross-modal attention of the model with an external visual expert through a two-stage refinement process. This refinement process generates a precise localized display to recover small or occluded targets. Extensive experiments across diverse benchmarks demonstrate that LazyMCoT rivals training-based approaches by simultaneously improving reasoning accuracy and reducing average inference latency. Our code is availble at https://github.com/TencentBAC/LazyMCoT.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、クロスモーダル推論において優れているが、複雑な高解像度画像において、細かな詳細を理解するのに苦労することが多い。 最近の訓練不要な手法は、画像スケーリングと局所的収穫によってこの問題に対処している。 しかし、これらの操作を適用すると、単純なクエリに対する計算冗長性が無差別に導入され、重要なグローバルなコンテキストを逸脱したり、無関係なバックグラウンドノイズを発生させることで精度を低下させることができる。 この目的のために,サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる動的およびトレーニング不要なフレームワークであるLazyMCoTを提案する。 このフレームワークは適応ルーティング機構を備えており、単一のフォワードパスからファーストツーケン統計を用いて予測の不確実性を評価する。 これにより、コンフォメーションキャリブレーションによる難しいサンプルのリコールを確保しつつ、確実なケースを効率よく回避できる。 このような困難なケースでは、コラボレーティブグラウンドモジュールは、2段階の洗練プロセスを通じて、モデル固有の相互モーダルな注意を外部の視覚専門家と統合する。 この精細化処理により、精密なローカライズされたディスプレイを生成して、小型または非搭載のターゲットを回収する。 さまざまなベンチマークにわたる大規模な実験により、LazyMCoTは推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合することを示した。 私たちのコードはhttps://github.com/TencentBAC/LazyMCoT.comで利用可能です。

関連論文リスト

• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• Modest-Align: Data-Efficient Alignment for Vision-Language Models [67.48633659305592]
  クロスモーダルアライメントモデルは、リソース制約のある環境での運用において、過信と劣化したパフォーマンスに悩まされることが多い。 我々は,ロバスト性と効率性に配慮した軽量アライメントフレームワークであるModest-Alignを提案する。 本手法は,実世界の低リソースシナリオにおけるクロスモーダルアライメントを実現するための,実用的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-24T16:11:10Z)
• GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval [13.928213494843744]
  クロスモーダル検索は、限られたトレーニングサンプルを用いたクロスモーダル表現の学習に焦点を当てている。 既存の手法では、数発のクロスモーダルデータのマルチピーク分布を適切にモデル化できない場合が多い。 画像特徴量とテキスト特徴量との相対的距離を制約するクロスモーダルなセマンティックアライメントのための新しい戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-19T16:25:55Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
  ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。 データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• Scale-Invariant Learning-to-Rank [0.0]
  Expediaでは、学習からランクまでのモデルが、ユーザがより関連性のある情報をソートし提示する上で重要な役割を担っている。 これらのモデルをデプロイする上で大きな課題は、トレーニングと運用データ間の一貫した機能スケーリングを保証することだ。 本稿では,学習時間と予測時間の両方でモデル内のスケール不変性を数学的に保証するために,ディープニューラルネットワークとワイドニューラルネットワークを組み合わせたスケール不変LTRフレームワークを提案する。 我々は、予測時にテストセットを摂動させることにより、実世界のシナリオをシミュレーションして評価し、一貫性のないトレインテストのスケーリングであっても、フレームワークを使用した場合よりも優れたパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:05:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。