論文の概要: Instruction Anchors: Dissecting the Causal Dynamics of Modality Arbitration

• arxiv url: http://arxiv.org/abs/2602.03677v1
• Date: Tue, 03 Feb 2026 15:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.556666
• Title: Instruction Anchors: Dissecting the Causal Dynamics of Modality Arbitration
• Title（参考訳）: 命令アンカー:モーダリティ・アビテーションの因果ダイナミクスを解明する
• Authors: Yu Zhang, Mufan Xu, Xuefeng Bai, Kehai chen, Pengfei Zhang, Yang Xiang, Min Zhang,
• Abstract要約: 以下に示すモダリティは、ユーザ命令に基づいてマルチモーダルコンテキストを選択的に利用するマルチモーダルな大規模言語モデルの能力として機能する。 命令トークンは、モダリティ仲裁のための構造的アンカーとして機能することを示す。 我々は、この仲裁を駆動する特別な注意ヘッドのスパースセットを同定する。
• 参考スコア（独自算出の注目度）: 41.64118238383843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modality following serves as the capacity of multimodal large language models (MLLMs) to selectively utilize multimodal contexts based on user instructions. It is fundamental to ensuring safety and reliability in real-world deployments. However, the underlying mechanisms governing this decision-making process remain poorly understood. In this paper, we investigate its working mechanism through an information flow lens. Our findings reveal that instruction tokens function as structural anchors for modality arbitration: Shallow attention layers perform non-selective information transfer, routing multimodal cues to these anchors as a latent buffer; Modality competition is resolved within deep attention layers guided by the instruction intent, while MLP layers exhibit semantic inertia, acting as an adversarial force. Furthermore, we identify a sparse set of specialized attention heads that drive this arbitration. Causal interventions demonstrate that manipulating a mere $5\%$ of these critical heads can decrease the modality-following ratio by $60\%$ through blocking, or increase it by $60\%$ through targeted amplification of failed samples. Our work provides a substantial step toward model transparency and offers a principled framework for the orchestration of multimodal information in MLLMs.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル(MLLM)は、ユーザ命令に基づいてマルチモーダル・コンテキストを選択的に活用する能力である。 現実世界のデプロイメントにおける安全性と信頼性を保証するのが基本です。 しかし、この意思決定プロセスの根底にあるメカニズムはいまだに理解されていない。 本稿では,情報フローレンズを用いた作業機構について検討する。 注意層が非選択的情報伝達を行い,これらのアンカーに遅延バッファとしてマルチモーダルキューをルーティングすること,命令意図によって導かれる深い注意層内でモダリティ競合を解消すること,MLP層が敵対力として機能するセマンティック慣性を示すこと,などである。 さらに、この仲裁を駆動する特別な注意ヘッドのスパースセットを同定する。 因果的介入は、これらのクリティカルヘッドのわずか5\%の操作が、ブロックによってモダリティ-フォロイング比を60\%、または失敗サンプルのターゲット増幅によって60\%に減少させることを示した。 我々の研究は、モデルの透明性に向けた重要なステップを提供し、MLLMにおけるマルチモーダル情報のオーケストレーションのための原則化されたフレームワークを提供します。

関連論文リスト

• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS)は、テキストクエリに基づいたビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。 SFTベースのモデルとゼロショットアプローチの両方を含む最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• DMFI: Dual-Modality Fine-Tuning and Inference Framework for LLM-Based Insider Threat Detection [9.049925971684837]
  インサイダー脅威モダリティ(ITD)は、サイバーセキュリティにおいて永続的で高影響の課題となる。 伝統的なモデルは、しばしば意味的な意図と複雑な振る舞いのダイナミクスを捉えるのに苦労する。 動作認識の微調整とセマンティック推論を統合した2つのモダリティフレームワークであるDMFIを提案する。
  論文  参考訳（メタデータ） (2025-08-06T18:44:40Z)
• Fine-grained Multiple Supervisory Network for Multi-modal Manipulation Detecting and Grounding [15.670987587762259]
  マルチモーダルメディア操作(Multi-Modal Media Manipulation、DGM$4$)は、誤情報検出の一分野である。 既存の手法は、信頼できない不動データによる誤った干渉のために、しばしば性能に制限される。 本稿では, モダリティの信頼性管理, 単調な内部監視, クロスモーダル監視を組み込んだFMSネットワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T14:46:59Z)
• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。