論文の概要: When Visual Evidence Is Insufficient: How Instructions, Post-Training, and Internal Activations Shape Refusal in Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2610.37430v1
• Date: Tue, 27 Oct 2026 15:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.678869
• Title: When Visual Evidence Is Insufficient: How Instructions, Post-Training, and Internal Activations Shape Refusal in Multimodal Language Models
• Title（参考訳）: 視覚的エビデンスが不十分なとき--マルチモーダル言語モデルにおけるインストラクション,ポスト・トレーニング,内部活性化形状の拒絶について
• Abstract要約: 視覚的に答えられない質問に対する拒絶が3つの制御源によってどのように形成されるかを検討する。 拒絶は指示の意味と配置の両方に非常に敏感であることがわかった。 エビデンス・アウェアと一般的な拒絶指示は、意図的にミスマッチした安全指示よりも強い効果を持つ。
• 参考スコア（独自算出の注目度）: 25.65153686799688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For reliable deployment, multimodal large language models (MLLMs) should recognize when an image provides insufficient evidence to answer a question and withhold unsupported answers. Yet refusal alone is not necessarily evidence of such recognition: models may refuse because of unrelated safety constraints or without identifying the missing evidence. We study how refusal on visually unanswerable questions is shaped by three sources of control: inference-time instructions, post-training, and internal activation interventions. Across three MLLMs on the MoHoBench benchmark, we systematically manipulate the meaning and placement of refusal instructions, compare supervised and preference-based post-training, and intervene on a refusal-related activation direction derived from naturally answered and refused examples. We find that refusal is highly sensitive to both the meaning and placement of instructions, with model-specific changes at the sample level that are obscured by aggregate refusal rates. Evidence-aware and general refusal instructions have stronger effects than an intentionally mismatched safety instruction. Post-training produces larger increases in refusal, but can also induce responses that combine refusal language with attempted answers. In contrast, activation intervention produces smaller yet transferable changes across prompt conditions, without evidence of indiscriminate refusal on tested visually answerable samples. These findings show that refusal is jointly shaped by external instructions, post-training, and internal representations, highlighting the need to disentangle evidence recognition from a model's learned propensity to refuse.
• Abstract（参考訳）: 信頼性の高いデプロイメントのためには、マルチモーダルな大規模言語モデル(MLLM)は、画像が質問に答えるには不十分な証拠を提供するときに認識する必要がある。 しかし、拒絶は必ずしもそのような認識の証拠ではない:モデルは無関係な安全上の制約のために、または行方不明の証拠を特定せずに拒否することができる。 視覚的に理解できない質問に対する拒絶は、推論時間指示、後学習、内的アクティベーション介入の3つの制御源によってどのように形成されるかを検討する。 MoHoBenchベンチマークの3つのMLLMにおいて、リファイン命令の意味と配置を体系的に操作し、教師付きおよび嗜好に基づくポストトレーニングと比較し、自然応答および拒否例からリファイン関連アクティベーション方向を介入する。 その結果,リファリングは命令の意味と配置の両方に非常に敏感であり,サンプルレベルでのモデル固有の変化は集合的リファリング率によって隠蔽されていることがわかった。 エビデンス・アウェアと一般的な拒絶指示は、意図的にミスマッチした安全指示よりも強い効果を持つ。 ポストトレーニングは拒絶言語を増大させるが、拒絶言語と試みられた回答を組み合わせた反応を誘発する。 対照的に、アクティベーションの介入は、テストされた視覚的応答可能なサンプルに対して無差別に拒絶する証拠を示さずに、プロンプト条件をまたいだより小さいが伝達可能な変化を引き起こす。 これらの結果から, 拒絶は外的指示, 後的訓練, 内的表現によって連成的に形成され, モデルが拒否する学習正当性から証拠認識を遠ざける必要性が浮き彫りにされた。

関連論文リスト

• WRDO: Weighted Refusal Direction Optimization in Aligned Language Models [41.986377298239525]
  本研究は, 差し迫った拒絶方向の組合せを学習することで, 拒絶介入を強化することができるかどうかを考察する。 本稿では,一方向のバンクから複合振れ方向を構成する方法である重み付き振れ方向最適化(WRDO)を提案する。 以上の結果から,重み付けアグリゲーションはより効果的かつ柔軟に表現を操作できることが示唆された。
  論文  参考訳（メタデータ） (2026-10-21T10:42:25Z)
• Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks [1.0152838128195467]
  フェールトレーニングは、トレーニングモデルによってAIモデルをジェイルブレイクから保護し、安全でないクエリを減らし、誤用のリスクを低減する。 近年の研究では、アライメント言語モデルにおける拒絶行動は、単一のアクティベーション方向または有害なプロンプト間で共有される低次元の拒絶部分空間によって媒介されることが判明している。 しかし、なぜ広範囲のモデルで安全クリティカルな特徴が集中した低次元構造に現れるのかは、いまだ不明である。
  論文  参考訳（メタデータ） (2026-08-26T05:35:54Z)
• Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
  言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。 この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
  論文  参考訳（メタデータ） (2026-08-16T14:47:33Z)
• Expert-Aware Refusal Steering [2.0391237204597368]
  命令調整された大規模言語モデル(LLM)の安全性の整合性は、モデルが有害または許可されていない要求に確実に応答することを拒否する能力に依存する。 近年の研究では、推論中に操舵ベクトルを高密度LLMに適用し、拒絶挙動を効果的に抑制できることが示されている。 本稿では,リファレンシャルなルーティングパターンとエキスパート固有のステアリング方向を利用して,通常のリファレンシャルなリファレンシャルな動作を抑制する2つのリファレンシャルなリファレンシャルなリファレンスステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-06-02T19:23:46Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• Do Retrieval Augmented Language Models Know When They Don't Know? [55.72375712577378]
  ALMはいつ知らないのか知っていますか? 期待とは対照的に, LLM は有意なテキストバッファー-拒否行動を示す。 提案手法は, 学習後モデルに対する簡易かつ効果的な拒絶手法を開発し, 解答品質を向上する。
  論文  参考訳（メタデータ） (2025-09-01T13:44:15Z)
• Diffusion Models with Adaptive Negative Sampling Without External Resources [54.84368884047812]
  ANSWERは、CFGをサポートするあらゆるモデルに適用可能な、トレーニング不要の技法であり、負のプロンプトを明示することなく、イメージ概念の負のグラウンド化を可能にする。 実験により、既存のDMにANSWERを追加することは、複数のベンチマークでベースラインよりも優れており、他の方法よりも人間の方が2倍多いことが示されている。
  論文  参考訳（メタデータ） (2025-08-05T00:45:54Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。