論文の概要: LOCI: A Locator-Critic with Refinement Loop
- arxiv url: http://arxiv.org/abs/2608.30959v1
- Date: Mon, 31 Aug 2026 15:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.479734
- Title: LOCI: A Locator-Critic with Refinement Loop
- Title(参考訳): LOCI:リファインメントループを備えたロケータクリティカル
- Abstract要約: VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。
中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。
証拠検証から視覚検索を分離する学習自由フレームワークであるLocator-Critic(LOCI)を提案する。
- 参考スコア(独自算出の注目度): 65.51043732421378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Models (VLMs) still struggle on tasks requiring complex visual understanding. We argue that the core issue is not high-level reasoning, but instead failing to locate critical details in the image. Due to this shortcoming, VLMs generate often plausible but incorrect reasoning based on flawed perceptual grounding. To address this, we propose Locator-Critic (LOCI), a training-free framework that decouples visual search from evidence verification. LOCI employs a Locator agent to propose candidate visual evidence and a separate Critic agent to evaluate its relevance and sufficiency. These agents engage in an iterative refinement loop, progressively improving the evidence until it is adequate to answer the given question. This decoupled, self-correcting process yields substantial performance gains, achieving state-of-the-art results on multiple complex visual benchmarks. LOCI improves accuracy for both open-weight models like Qwen3-VL (+12.1 on V*, +5.8 on HR-Bench and +11.2 on VisualProbe-Hard) and proprietary models like Gemini 2.5 Pro (+8.9 on V*, +4.3 on HR-Bench, +4.8 on VisualProbe-Hard).
- Abstract(参考訳): VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。
中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。
この欠点により、VLMは、しばしば、欠陥のある知覚的接地に基づく、もっともらしいが誤った推論を生成する。
これを解決するために,実証から視覚検索を分離するトレーニング不要のフレームワークであるLocator-Critic(LOCI)を提案する。
LOCIは、候補の視覚的証拠を提示するロケータエージェントと、その関連性と十分性を評価するための別個の批判エージェントを用いる。
これらのエージェントは反復的な改善ループに参加し、与えられた質問に答えるまで徐々に証拠を改良する。
この分離された自己補正プロセスは、複数の複雑なビジュアルベンチマークで最先端の結果を達成することで、大幅なパフォーマンス向上をもたらす。
LOCI は Qwen3-VL (V*では+12.1、VisualProbe-Hardでは +5.8、VisualProbe-Hardでは+11.2) のようなオープンウェイトモデルと Gemini 2.5 Pro (V*では+8.9、V*では +4.3、VisualProbe-Hardでは +4.8) のようなプロプライエタリモデルの両方の精度を改善している。
関連論文リスト
- Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs [7.833541893955439]
JKP(Just Keep Prompting)は,ユーザがモデルの回答に何度も挑戦したり,質問したり,矛盾したりするときに,VLMの安定性を計測するマルチターン評価フレームワークである。
JKPは、Adversarial Negation(繰り返し拒否)、Pure Socratic Interrogation(再評価のための繰り返し呼び出し)、Context-Aware Socratic Summarization(文脈対応ソクラティック要約)という3つの戦略を用いて、最大10回の追従ターンのモデルを探索する。
GPT-4o, Gemini 2.5 Pro, Qwen3-VL-30BをSTARベンチマークのサブセットとして720回のマルチターンランで評価した。
論文 参考訳(メタデータ) (2026-05-01T17:02:19Z) - Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation [55.74376789006731]
視覚的インストラクションデータに対するSFT(Supervised Fine-tuning)は、しばしば視覚言語モデル(VLM)の知覚能力を向上し、推論性能を低下させる。
この劣化が深度表現の障害的アクセスと関係しているかどうかを考察し、固定された深度集合でさえ推論を著しく復元することを示した。
IADAは、クロスディープな入力適応性、モダリティを意識し、低ランクのボトルネックを通じて効率的にパラメータ化できる軽量なメカニズムである。
論文 参考訳(メタデータ) (2026-03-27T11:47:39Z) - From Sight to Insight: Improving Visual Reasoning Capabilities of Multimodal Models via Reinforcement Learning [12.548754243700657]
マルチモーダルな大言語モデル(MLLM)は、視覚情報の統合に欠ける推論を生成する。
このようなタスクにおいて視覚的知覚が重要なボトルネックであることを示し、クロード3.5では26.7%、クロード3.7では23.6%の利得を得た。
我々は,イメージ理解,思考ステップ,回答精度など,異なる推論的側面を対象とする6つの報酬関数を設計・評価する。
Qwen-2.5-VL-7Bの実験では、ベースモデルよりも5.56%改善されており、ドメイン内設定とドメイン外設定の両方で一貫して改善されている。
論文 参考訳(メタデータ) (2026-01-01T05:19:28Z) - Unbiased Visual Reasoning with Controlled Visual Inputs [28.155426761798022]
VISTAは、明示的な情報のボトルネックを通じて、推論から認識を分離するフレームワークである。
凍結したVLMセンサは、短い客観的な知覚クエリに制限される。
テキストのみのLLM推論器は、各質問を分解し、クエリを計画し、自然言語で視覚的な事実を集約する。
論文 参考訳(メタデータ) (2025-12-19T18:52:06Z) - Toward More Reliable Artificial Intelligence: Reducing Hallucinations in Vision-Language Models [0.0]
視覚言語モデル(VLM)は、しばしば幻覚的コンテンツを生成するが、画像の内容に関する誤った主張である。
本稿では,不確実性誘導による視覚的再認識によってVLMの応答を反復的に改善することのできる,トレーニング不要な自己補正フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-08T13:58:46Z) - VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。
出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。
本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
論文 参考訳(メタデータ) (2025-10-01T20:32:08Z) - CoRGI: Verified Chain-of-Thought Reasoning with Post-hoc Visual Grounding [1.6257248483123767]
textbfCoRGI(textbfChain textbffof textbfReasoning with textbfGrounded textbfInsights)は、チェーンオブ思考出力のポストホック検証により、推論信頼性を高めるフレームワークである。
論文 参考訳(メタデータ) (2025-08-01T07:17:12Z) - Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。
LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。
複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
論文 参考訳(メタデータ) (2024-11-06T22:02:30Z) - HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models [69.52245481329899]
本稿では,画像コンテキスト推論評価のためのベンチマークであるHalusionBenchを紹介する。
このベンチマークは、1129の質問と組み合わせた346の画像で構成されており、すべて人間の専門家によって細心の注意を払って作成されている。
HallusionBenchの評価では、15種類のモデルをベンチマークし、最先端のGPT-4Vによって達成された31.42%の質問対精度を強調した。
論文 参考訳(メタデータ) (2023-10-23T04:49:09Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳(メタデータ) (2023-10-09T16:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。