論文の概要: DyFo: A Training-Free Dynamic Focus Visual Search for Enhancing LMMs in Fine-Grained Visual Understanding

• arxiv url: http://arxiv.org/abs/2504.14920v1
• Date: Mon, 21 Apr 2025 07:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 19:05:44.107088
• Title: DyFo: A Training-Free Dynamic Focus Visual Search for Enhancing LMMs in Fine-Grained Visual Understanding
• Title（参考訳）: DyFo: 細粒度視覚理解におけるLMMの強化のためのトレーニング不要なダイナミックフォーカスビジュアルサーチ
• Authors: Geng Li, Jinglin Xu, Yunzhen Zhao, Yuxin Peng,
• Abstract要約: 大規模マルチモーダルモデル(LMM)におけるきめ細かい視覚的理解を高める訓練不要なダイナミックフォーカスビジュアルサーチ手法であるDyfo(Dynamic Focus)を提案する。 追加モジュールやデータ収集を必要とする既存のアプローチとは異なり、DyfoはMonte Carlo Tree Search (MCTS)アルゴリズムを使用して、人間のようなフォーカス調整をシミュレートする。 Dyfoは細粒度の視覚的理解を大幅に改善し、LMMの問題を低減し、固定解像度モデルと動的解像度モデルの両方で優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 34.07915465367919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can effortlessly locate desired objects in cluttered environments, relying on a cognitive mechanism known as visual search to efficiently filter out irrelevant information and focus on task-related regions. Inspired by this process, we propose Dyfo (Dynamic Focus), a training-free dynamic focusing visual search method that enhances fine-grained visual understanding in large multimodal models (LMMs). Unlike existing approaches which require additional modules or data collection, Dyfo leverages a bidirectional interaction between LMMs and visual experts, using a Monte Carlo Tree Search (MCTS) algorithm to simulate human-like focus adjustments. This enables LMMs to focus on key visual regions while filtering out irrelevant content, without introducing additional training caused by vocabulary expansion or the integration of specialized localization modules. Experimental results demonstrate that Dyfo significantly improves fine-grained visual understanding and reduces hallucination issues in LMMs, achieving superior performance across both fixed and dynamic resolution models. The code is available at https://github.com/PKU-ICST-MIPL/DyFo_CVPR2025
• Abstract（参考訳）: 人間は、不適切な情報を効率的にフィルタリングし、タスク関連の領域に集中するために、視覚探索として知られる認知メカニズムを頼りに、乱雑な環境で望ましい物体を見つけることができる。 このプロセスにインスパイアされたDyfo(Dynamic Focus)は、大規模マルチモーダルモデル(LMM)におけるきめ細かい視覚的理解を高める訓練不要な動的焦点付きビジュアルサーチ手法である。 追加モジュールやデータ収集を必要とする既存のアプローチとは異なり、Dyfoは人間に似た焦点調整をシミュレートするためにモンテカルロ木探索(MCTS)アルゴリズムを使用して、LMMと視覚専門家の双方向インタラクションを利用する。 これにより、語彙拡張や特殊なローカライゼーションモジュールの統合による追加トレーニングを導入することなく、LMMは関連のないコンテンツをフィルタリングしながら、重要な視覚領域に集中することができる。 実験結果から,Dyfoは細粒度の視覚的理解を著しく改善し,LMMにおける幻覚の問題を低減し,固定解像度モデルと動的解像度モデルの両方において優れた性能を実現することが示された。 コードはhttps://github.com/PKU-ICST-MIPL/DyFo_CVPR2025で公開されている。

関連論文リスト

• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• Semantic-Spatial Feature Fusion with Dynamic Graph Refinement for Remote Sensing Image Captioning [11.015244501780078]
  本稿では,動的グラフ精錬法(SFDR)を用いた意味空間的特徴融合を提案する。 提案手法は,生成した記述の質を著しく向上させる。 3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-03-30T14:14:41Z)
• Lifting the Veil on Visual Information Flow in MLLMs: Unlocking Pathways to Faster Inference [28.24397677839652]
  マルチモーダル大規模言語モデル(MLLM)は、事前訓練された視覚エンコーダの視覚的特徴を大規模言語モデルに統合することにより、視覚言語タスクの性能を向上させる。 MLLMがどのように処理し、どのように視覚情報を利用するかは、まだ不明である。 階層型モダリティ・アウェア・プルーニング(HiMAP, Hierarchical Modality-Aware Pruning)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T12:31:23Z)
• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)
• SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models [22.472167814814448]
  本稿では,SeMAIL(Separated Model-based Adversarial Imitation Learning)というモデルベース模倣学習アルゴリズムを提案する。 本手法は, 様々な視覚的制御タスクにおいて, 複雑な観察と, 専門的な観察から異なる背景を持つより困難なタスクにおいて, ほぼ専門的な性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T04:33:44Z)
• NL-FCOS: Improving FCOS through Non-Local Modules for Object Detection [0.0]
  FCOSヘッドと組み合わせた非局所モジュール(NL-FCOS)は実用的で効率的であることを示す。 衣服検出と手書き量認識問題における最先端性能を確立した。
  論文  参考訳（メタデータ） (2022-03-29T15:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。