論文の概要: Watch and Learn: Teaching Visual In-Context Learning by Removing Textual Shortcuts

• arxiv url: http://arxiv.org/abs/2610.30913v1
• Date: Thu, 22 Oct 2026 08:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.284315
• Title: Watch and Learn: Teaching Visual In-Context Learning by Removing Textual Shortcuts
• Title（参考訳）: Watch and Learn: テキストショートカットの除去による視覚的インテクスト学習の指導
• Abstract要約: 視覚言語モデル(VLM)は、文脈学習において、テキストモデルと比較して苦労する。 テキストショートカットなしでタスクに依存しないVICLトレーニングセットを構築する。
• 参考スコア（独自算出の注目度）: 33.11775891274249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) struggle with in context learning compared to their textual counterparts. Our preliminary study shows that VLMs rely on textual shortcuts and underutilize the visual demonstrations. We therefore hypothesize that VLMs are insufficiently trained to perform visual in-context learning (vICL). To this end, we construct MIME, a task-agnostic vICL training set without textual shortcuts. We ensure the instruction does not state the rule linking the demonstration images to their answers, so the model must infer it from the visual demonstrations. Fine-tuning on MIME improves vICL accuracy by 8.1 to 18.0 points across three VLMs, preserves single-image performance, and improves multi-image and text only in-context learning. In contrast, stating the rule in the training data sharply reduces this gain. We further propose DTAD (Demonstration Text Attention Dropout), which randomly withholds demonstration labels during training so that the VLM must infer the rule from the demonstration images. While achieving comparable vICL accuracy to fine-tuning on MIME, DTAD yields more consistent attention to the demonstration images. On TrueMICL, Qwen3-VL-8B trained on MIME matches frontier models such as Claude Opus 5, and surpasses them with DTAD. Finally, adding MIME to the instruction-tuning mix of LLaVA 1.5 13B more than doubles its vICL accuracy without hurting single-image abilities, whereas a same-size multi-image set improves it only slightly. These results suggest that vICL data should be a standard component of VLM training.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、文脈学習において、テキストモデルと比較して苦労する。 予備研究により,VLMはテキストのショートカットに頼り,視覚的デモンストレーションを過小評価していることがわかった。 したがって、VLMは視覚的インコンテキスト学習(vICL)を行うのに十分な訓練を受けていないと仮定する。 この目的のために,テキストショートカットを使わずにタスクに依存しないVICLトレーニングセットであるMIMEを構築した。 インストラクションがデモイメージと回答をリンクするルールを記述しないことを保証するため、モデルが視覚的なデモからそれを推論する必要がある。 MIMEの微調整により、3つのVLMでVICLの精度が8.1から18.0に向上し、シングルイメージのパフォーマンスを保ち、マルチイメージとテキストのみのテキスト学習を改善する。 対照的に、トレーニングデータに規則を記述することで、この利得が大幅に減少する。 さらに, DTAD (Demonstration Text Attention Dropout) を提案する。これは, VLM が実演画像から規則を推論しなければならないように, 実演ラベルをランダムに保持する。 MIMEの微調整に匹敵するvICL精度を実現する一方で、DTADはデモ画像に対してより一貫した注意を与える。 TrueMICLでは、Qwen3-VL-8BがClaude Opus 5などのフロンティアモデルにマッチし、DTADでそれらを上回ります。 最後に、LLaVA 1.5 13Bの命令調整ミックスにMIMEを追加することで、シングルイメージ能力を損なうことなく、vICLの精度が2倍になる。 これらの結果は、VICLデータはVLMトレーニングの標準コンポーネントであるべきであることを示唆している。

関連論文リスト

• Probing Visual Language Priors in VLMs [51.016683265437536]
  我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。 ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。 本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T17:54:29Z)
• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• Contrastive Vision-Language Alignment Makes Efficient Instruction Learner [31.281236193979165]
  本研究では,大規模言語モデル(LLM)を視覚言語命令追従モデルに拡張する作業について検討する。 既存の方法では、視覚アダプタを訓練して、前訓練された視覚変換器(ViT)とLLMの間の表現を、生成的な画像キャプション損失によって整列させるのが一般的である。 比較的および生成的アライメントの目的を適用し, ViT と LLM の表現を効果的に整合させる CG-VLM を提案する。
  論文  参考訳（メタデータ） (2023-11-29T03:29:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。