論文の概要: In-Context Learning Can Help Vision-Language Models Overcome Training Priors

• arxiv url: http://arxiv.org/abs/2610.12942v1
• Date: Fri, 09 Oct 2026 03:40:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.375915
• Title: In-Context Learning Can Help Vision-Language Models Overcome Training Priors
• Title（参考訳）: インコンテキスト学習は、ビジョンランゲージモデルがトレーニングの優先順位を上回るのに役立つ
• Abstract要約: 視覚言語モデル(VLM)は、訓練中に強い統計規則性を学ぶ。 基盤となる視覚的能力が欠けているモデルによって引き起こされたエラーから、事前に引き起こされたエラーを曖昧にすることは困難である。 本研究では,制御された文脈内学習を用いて,モデルが視覚的エビデンスに集中するように促す。
• 参考スコア（独自算出の注目度）: 41.77921252477841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) learn strong statistical regularities during training, which can make them fail to properly respond to visual evidence when input images violate those regularities. It is challenging to disambiguate these prior-induced errors from errors caused by the model missing the underlying visual capabilities. In this work, we use controlled visual in-context learning to encourage the model to focus on the visual evidence, and demonstrate that this alone is frequently sufficient to correct the errors -- suggesting that the models in fact do possess the relevant visual capabilities. Specifically, we show that across five vision-centric tasks, demonstrations yield large gains on prior-conflicting counterfactual examples ($+27.2\%$ for Qwen3-VL 235B and $+15.1\%$ for Qwen3-VL 32B) while leaving accuracy on prior-aligned examples nearly unchanged. These findings generalize across five VLM families with gains from $+9.7\%$ to $+30.3\%$. We analyze visual representations and find that demonstrations indeed redirect attention toward grounding cues while reducing reliance on cues that support the learned prior. Finally, we find that in-context learning is limited when the underlying visual capability is weak or absent. Together, these results show that current VLMs possess visual grounding capabilities that standard evaluations may overlook, underscoring the need for controlled evaluation design in diagnosing and improving model capability.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、訓練中に強い統計正則性を学ぶため、入力画像がそれらの正則性に反した場合、視覚的証拠に適切に反応しない。 根底にある視覚的能力が欠けているモデルによって引き起こされたエラーから、これらの事前に引き起こされたエラーを曖昧にすることは困難である。 この研究では、制御されたビジュアルインコンテキスト学習を使用して、モデルが視覚的エビデンスに集中するように促し、これがエラーを修正するのに十分であることを示す。 具体的には,5つの視覚中心タスクにおいて,先行競合対実例(Qwen3-VL 235Bは+27.2\%,Qwen3-VL 32Bは$+15.1\%)に対して,事前整合例の精度をほぼ一定に保ったまま,大きな利得が得られることを示す。 これらの結果は5つのVLMファミリーで一般化され、$+9.7\%$から$+30.3\%$へと上昇した。 我々は視覚的表現を分析し、実演が実際に、学習した先行を支援する手がかりへの依存を減らしながら、接地キューに注意を向けることを見出した。 最後に、基礎となる視覚能力の弱さや欠如によって、コンテキスト内学習が制限されることが分かる。 これらの結果から,現行のVLMは,標準評価が見逃す可能性のある視覚的基盤機能を備えており,モデル能力の診断・改善における制御された評価設計の必要性が示唆された。

関連論文リスト

• Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
  本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。 空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。 視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-08-21T14:40:26Z)
• Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models [14.5102059776721]
  MLLM(Multimodal Large Language Models)は、事前訓練された言語モデルの豊富な事前情報と視覚入力を統合することで、高い性能を達成する。 しかし、視覚的な証拠が事前訓練された知識と矛盾する場合、視覚中心のタスクでは失敗することが多い。 2つの診断パラダイムを用いてこれらの障害を探索する。(1)視覚情報が利用可能かどうかの探索、(2)画像再構成、(2)マルチモーダルコンテキスト感度の測定である。
  論文  参考訳（メタデータ） (2026-07-28T22:52:34Z)
• Disentangling Visual and Factual Correctness in LVLMs' Visualization Literacy [27.323597665236644]
  LVLM(Large Vision-Language Models)は、強力な可視化解釈を示す。 それらの反応が、視覚的証拠に対する真の推論を反映しているか、訓練中に学んだ事実的先行を反映しているのかは不明である。 本稿では,視覚的正当性を事実的正当性から分離する枠組みを提案する。
  論文  参考訳（メタデータ） (2026-06-02T04:36:32Z)
• From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models [66.95781712577315]
  視覚言語モデル(VLM)における知覚と推論の相互作用について、3つの異なる訓練段階に分解して検討する。 提案手法を用いてトレーニングしたモデルでは,20.8%の精度で推論精度が1.5%向上した。
  論文  参考訳（メタデータ） (2026-05-19T17:58:40Z)
• Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training [82.17582358979884]
  多モーダル大規模言語モデル(MLLM)の推論能力を改善するために、明示的推論トレースを用いた後学習が一般的である。 MLLMのマルチモーダル推論を強化するための視覚対応型自己改善学習フレームワークであるVISTAを提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:44:35Z)
• Counting to Four is still a Chore for VLMs [3.017198998175514]
  視覚言語モデル(VLM)は、複雑なマルチモーダル推論タスクにおいて印象的な性能を達成した。 それらは依然として、オブジェクトカウントのような単純な接地スキルで失敗します。 本稿では, 挙動解析と力学解析の両方を通して, VLM計数行動の実証的研究を行った。
  論文  参考訳（メタデータ） (2026-04-11T05:23:19Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
  ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。 非局所的な視覚的推論のための視覚言語モデルの能力を評価する。 その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
  論文  参考訳（メタデータ） (2025-07-04T23:15:52Z)
• ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models [48.99485386990197]
  視覚的推論によってのみ解決可能な合成データセットを用いてケーススタディを行う。 次に、1,162人の専門家が注釈を付けた質問を含む新しいチャート質問回答(QA)ベンチマークであるChartMuseumを紹介します。 人間は93%の精度を達成しているが、最高のパフォーマンスモデルであるGemini-2.5-Proは63.0%しか達成できず、主要なオープンソースであるLVLM Qwen2.5-VL-72B-Instructは38.5%しか達成していない。
  論文  参考訳（メタデータ） (2025-05-19T17:59:27Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。