論文の概要: Pay More Attention To Text In High-Resolution MLLMs
- arxiv url: http://arxiv.org/abs/2609.23495v1
- Date: Sun, 20 Sep 2026 09:30:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.838629
- Title: Pay More Attention To Text In High-Resolution MLLMs
- Title(参考訳): 高解像度MLLMでテキストに注意を払う
- Abstract要約: EviSpecはトレーニング不要のコンパイラで、補完的なエビデンス仕様を導出しつつ、最終的な推論のための元の質問を保存します。
EviSpec は3つのベンチマークで対応するベースラインを一貫して改善し、それぞれ Vtextsuperscript*Bench, HR-Bench-4K, HR-Bench-8K でtextbf10.4%, 8.8%, 12.4% の平均相対的なゲインを得た。
- 参考スコア(独自算出の注目度): 19.66158464093865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Failures of high-resolution MLLMs are commonly attributed to a visual problem, motivating zooming, cropping, and related visual interventions to recover fine-grained evidence or suppress interference. Yet recent studies suggest that relevant visual evidence is already encoded in intermediate representations, indicating that visual-side improvements alone insufficient. This raises a natural question: does the remaining bottleneck lie in the text that guides visual search? We identify a previously overlooked linguistic bottleneck: questions formulated for answering do not necessarily specify the visual evidence required for localization. To address this mismatch, we introduce EviSpec, a training-free compiler that derives complementary evidence specifications while preserving the original question for final reasoning. We further validate it through matched-control experiments that isolate the roles of evidence specification and localization. With the search budget fixed, structured evidence specifications yield an 8.6% relative gain over generic requests. With evidence geometry matched, the evidence localized by EviSpec yields a 14.8% relative gain over random evidence. Together, these controls isolate the benefit of specifying what evidence to seek rather than merely expanding visual access. Across all five MLLMs, EviSpec consistently improves upon the corresponding baseline on each of the three benchmarks, yielding average relative gains of \textbf{10.4%, 8.8%, and 12.4%} on V\textsuperscript{*}Bench, HR-Bench-4K, and HR-Bench-8K, respectively. Beyond high-resolution reasoning, EviSpec also achieves state-of-the-art performance on VQA and hallucination-focused benchmarks.
- Abstract(参考訳): 高分解能MLLMの故障は一般的に視覚的な問題によるもので、微細な証拠の回収や干渉の抑制のためにズーム、収穫、関連する視覚的介入を動機付けている。
しかし、近年の研究では、関連する視覚的証拠が既に中間表現に符号化されており、視覚的側面の改善だけでは不十分であることが示唆されている。
残りのボトルネックは、ビジュアル検索をガイドするテキストにありますか?
回答のために定式化された質問は、ローカライゼーションに必要な視覚的証拠を必ずしも特定しない。
このミスマッチに対処するために、トレーニング不要のコンパイラであるEviSpecを紹介します。
さらに,エビデンス仕様とローカライゼーションの役割を分離する整合制御実験によって検証する。
検索予算が固定されたことにより、構造化された証拠仕様はジェネリックリクエストよりも8.6%の相対的な利得が得られる。
幾何学的に一致した証拠により、EviSpecによって局所化された証拠は、ランダムな証拠よりも14.8%の相対的な利得が得られる。
これらのコントロールは、単に視覚的アクセスを拡張するのではなく、どのようなエビデンスを求めるかを指定するという利点を分離する。
EviSpec は V\textsuperscript{*}Bench と HR-Bench-4K と HR-Bench-8K でそれぞれ平均相対利得の textbf{10.4% と 8.8% と 12.4% を得られる。
高解像度の推論以外にも、EviSpecはVQAと幻覚に焦点を当てたベンチマークの最先端のパフォーマンスも達成している。
関連論文リスト
- Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
ミスターL(Mr. L)は、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。
各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
論文 参考訳(メタデータ) (2026-09-10T09:47:44Z) - LOCI: A Locator-Critic with Refinement Loop [65.51043732421378]
VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。
中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。
証拠検証から視覚検索を分離する学習自由フレームワークであるLocator-Critic(LOCI)を提案する。
論文 参考訳(メタデータ) (2026-08-31T15:26:00Z) - Finding the Right Evidence: Factor-Guided Coarse-to-Fine Reasoning for Long Videos [50.28847179290796]
PACEは、長期的な証拠取得のためのファクター誘導フレームワークである。
オープンソースのQwen3-VLバックボーンを持つMMR-Vでは、PACEは42.6%の精度を達成している。
論文 参考訳(メタデータ) (2026-08-26T19:38:17Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳(メタデータ) (2026-07-27T23:50:46Z) - Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning [73.40085256022111]
P2R(Perceive-to-Reason)は、2段階のプロセスとして微細な視覚的推論を定式化する統合フレームワークである。
P2RはPerceiverとして質問関連エビデンスをローカライズし、アノテートされた画像と収穫された領域に基づいて質問をReasonerとして答える。
PRA-GRPOは、認識重視と推論重視の更新を交互に行うロールアウェア強化学習戦略である。
論文 参考訳(メタデータ) (2026-07-01T17:24:26Z) - Attend to Evidence: Evidence-Anchored Spatial Attention Supervision for Multimodal RLVR [13.57608271711067]
EASE(Evidence-Anchored Space Attention)は、マルチモーダルRLVRを視覚的エビデンスプロセスの監視で強化する。
EASEは、注釈付きエビデンス領域をスムーズな視覚的トーケンターゲットに変換し、それを使って応答対イメージの注意を誘導する。
診断と治療は、EASEが視覚的注意をアノテートされたエビデンス領域と整合させることを示す。
論文 参考訳(メタデータ) (2026-05-29T06:50:46Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳(メタデータ) (2026-05-20T03:44:06Z) - DIVER: Dynamic Iterative Visual Evidence Reasoning for Multimodal Fake News Detection [6.225860651499494]
多モーダル偽ニュース検出は、敵対的誤報の軽減に不可欠である。
進化的,エビデンス駆動推論パラダイムに基づくフレームワークであるDIVER(Dynamic Iterative Visual Evidence Reasoning)を提案する。
Weibo、Weibo21、GossipCopの実験では、DIVERは最先端のベースラインを平均2.72%上回っている。
論文 参考訳(メタデータ) (2026-01-12T04:01:33Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。