論文の概要: Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.22234v1
• Date: Thu, 03 Sep 2026 04:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.797824
• Title: Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models
• Title（参考訳）: 対立を通して見る:視覚・言語モデルにおける指導階層的アライメントの改善
• Abstract要約: 視覚言語モデル(VLM)は命令階層(IH)に新たな課題をもたらす 我々は、強化学習とルールベースの報酬を用いてVLMを訓練し、テキストのみ、画像のみ、混合モダリティ監視を比較した。 テキストのみのIHトレーニングは、部分的にマルチモーダルアタックに移行し、モデルがモダリティを越えて命令をデコードし、再構成し、あるいは推論しなければならない場合に失敗する。
• 参考スコア（独自算出の注目度）: 6.108060517644809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction hierarchy (IH) alignment teaches language models to prioritize higher-level instructions when inputs conflict. While studied primarily in text-only settings, vision-language models (VLMs) introduce new challenges for IH: instructions may be embedded in images, split across modalities, visually transformed, or encountered during agentic tasks. Positing multimodal IH alignment as a reasoning problem, we train VLMs using reinforcement learning with rule-based rewards, comparing text-only, image-only, and mixed-modality supervision. We find that text-only IH training partially transfers to multimodal attacks, failing when models must decode, reconstruct, or reason over instructions across modalities. Image-based training improves robustness beyond text-only supervision, while mixed-modality training performs best overall. Importantly, the benefits generalize beyond the synthetic typographic training setting to real-image and web-agent safety tasks, while largely preserving general multimodal capability, showing that lightweight, verifiable supervision can meaningfully improve VLM robustness under adversarial, cross-modal, and interactive instruction conflicts.
• Abstract（参考訳）: インストラクション階層(IH)アライメントは、入力の衝突時に上位命令を優先するように言語モデルに教える。 主にテキストのみの設定で研究されているが、視覚言語モデル(VLM)はIHの新たな課題を導入している。 マルチモーダルIHアライメントを理由として,ルールベース報酬を用いた強化学習を用いてVLMを訓練し,テキストのみ,画像のみ,混合モダリティ監視を比較した。 テキストのみのIHトレーニングは、部分的にマルチモーダルアタックに移行し、モデルがモダリティを越えて命令をデコードし、再構成し、あるいは推論しなければならない場合に失敗する。 画像ベースのトレーニングは、テキストのみの監視以上の堅牢性を改善する一方、混合モダリティトレーニングは全体として最も優れたパフォーマンスを発揮する。 重要なことは、この利点は、合成タイポグラフィトレーニング設定を超えて、実像およびWebエージェントの安全タスクに一般化する一方で、軽量で検証可能な監督が、対向的、横断的、対話的な命令競合の下で、VLMの堅牢性を有意義に改善できることを示しながら、概ね一般的なマルチモーダル能力を保持する。

関連論文リスト

• Seeing to Generalize: How Visual Data Corrects Binding Shortcuts [5.724899979571379]
  ビジョン言語モデルは、純粋にテキストのみのタスクにおいて、基盤となるLarge Language Modelよりもパフォーマンスが高い。 視覚訓練がモデルの内部結合戦略を変えることを示す。 本研究は,1つのモダリティに根ざしたタスクにおいても,クロスモーダルトレーニングが推論と一般化を促進することを示唆している。
  論文  参考訳（メタデータ） (2026-02-16T20:43:12Z)
• Directed-Tokens: A Robust Multi-Modality Alignment Approach to Large Language-Vision Models [28.82265769298008]
  視覚的・テキスト的モダリティ間のロバストなアライメントを改善するための,シンプルだが効率的な学習機構を提案する。 提案手法は,従来のLMMと比較して常に最先端(SoTA)性能を実現する。
  論文  参考訳（メタデータ） (2025-08-19T20:53:24Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• EVE: Efficient Vision-Language Pre-training with Masked Prediction and Modality-Aware MoE [66.48689706116808]
  効率的なビジョン・ランガグ(Efficient Vision-languagE)は、1つの統合された事前訓練タスクによってのみ事前訓練された1つの統合マルチモーダルトランスである。 Eveは、Modality-aware sparse Mixture-of-Expertsと統合された共有トランスフォーマーネットワーク内の視覚と言語をエンコードする。 Eveは、視覚的質問応答、視覚的推論、画像テキスト検索など、様々な視覚言語下流タスクにおける最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-08-23T07:36:30Z)
• Fine-tuning Multimodal LLMs to Follow Zero-shot Demonstrative Instructions [126.3136109870403]
  汎用的で軽量なVisual Prompt Generator Complete Module (VPG-C)を導入する。 VPG-Cは、実証的な指示を解釈するために欠落した詳細を推測し、完成する。 私たちは、実証的な命令理解のための包括的なベンチマークであるDEMONを構築します。
  論文  参考訳（メタデータ） (2023-08-08T09:32:43Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。