論文の概要: Narrow Multimodal Fine-Tuning Can Induce Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2609.35291v1
• Date: Mon, 28 Sep 2026 14:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:47:29.456925
• Title: Narrow Multimodal Fine-Tuning Can Induce Emergent Misalignment
• Title（参考訳）: Narrow Multimodal Fine-Tuning Can Induce Emergent Misalignment
• Abstract要約: 最近の研究は、狭いタスクにおける微調整言語モデルが創発的ミスアライメント(EM)を引き起こすことを示している。 EMは、ほとんど完全にテキストのみのタスクで研究され、視覚言語モデルにおけるその表現ははっきりしないままである。 まず、脆弱なコードをターゲットにした細いマルチモーダルタスクの微調整、不注意な家庭オブジェクトの使用、そして通常のシーンの補間的解釈によりEMを誘導する。
• 参考スコア（独自算出の注目度）: 20.13794189010598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern AI models are aligned through post-training to adapt them to downstream tasks. Recent work shows that fine-tuning language models on narrow tasks can induce emergent misalignment (EM), causing broadly harmful behaviors beyond the training task. However, EM has been studied almost entirely in text-only tasks, leaving its manifestation in multimodal models unclear. In this paper, we define and analyze EM in the context of vision-language models. We first induce EM via fine-tuning on narrow multimodal tasks targeting vulnerable code, careless household-object use, and conspiratorial interpretations of ordinary scenes. Across fifteen commercial and open-source models with different scales, we find that narrow multimodal fine-tuning can induce coherent and broadly misaligned behavior that transfers to unrelated tasks, including misaligned opinions, visual factual dishonesty, unsafe image generation, vulnerability to visual jailbreaks, and risky agentic actions. We further find that multimodal EM does not depend on the apparent harmfulness of training data but is sensitive to training-evaluation modality alignment. EM can arise under both supervised fine-tuning and preference optimization and can propagate through intermediate reasoning. Finally, we explore several mitigation strategies, including prompt inoculation, benign continued training, and activation-level steering, which can partially reduce EM. Overall, our findings suggest that multimodal EM reflects a behavioral shift rather than a general loss of capability, extending beyond text to the visual modality.
• Abstract（参考訳）: 現代のAIモデルは、下流タスクに適応するために、ポストトレーニングを通じて整列されている。 近年の研究では、狭いタスクの微調整言語モデルが創発的ミスアライメント(EM)を誘発し、トレーニングタスクを超えて広範囲に有害な振る舞いを引き起こすことが示されている。 しかし、EMはテキストのみのタスクでほとんど研究されており、マルチモーダルモデルでの表現は明らかになっていない。 本稿では,視覚言語モデルを用いてEMを定義し,解析する。 まず、脆弱なコードをターゲットにした細いマルチモーダルタスクの微調整、不注意な家庭オブジェクトの使用、そして通常のシーンの補間的解釈によりEMを誘導する。 異なるスケールの15の商用およびオープンソースモデルにおいて、狭いマルチモーダル微調整は、不一致の意見、視覚的事実の不正性、安全でない画像生成、視覚的ジェイルブレイクへの脆弱性、危険なエージェント行為を含む、無関係なタスクに伝達するコヒーレントで広範囲に不整合な行動を引き起こす。 さらに、マルチモーダルEMは、トレーニングデータの明らかな有害性に依存しず、トレーニング・評価のモダリティアライメントに敏感であることがわかった。 EMは教師付き微調整と選好の最適化の両方の下で発生し、中間的推論を通じて伝播することができる。 最後に, 即時接種, 良性継続訓練, 活性化レベルステアリングなど, EMを部分的に低減できるいくつかの緩和策について検討した。 総じて,マルチモーダルEMは,テキストから視覚的モダリティまで,一般的な能力喪失よりも行動シフトを反映していると考えられた。

関連論文リスト

• Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
  MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。 結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。 マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
  論文  参考訳（メタデータ） (2026-04-08T07:48:07Z)
• When Alignment Fails: Multimodal Adversarial Attacks on Vision-Language-Action Models [75.16145284285456]
  我々は,White-box設定とBlack-box設定の両方の下で,組込みVLAモデルのマルチモーダル対向ロバスト性に関する総合的研究であるVLA-Foolを紹介する。 自動生成および意味的に誘導されるプロンプトフレームワークを最初に開発する。 LIBEROベンチマークの実験では、小さなマルチモーダル摂動でさえ大きな行動偏差を引き起こすことが示されている。
  論文  参考訳（メタデータ） (2025-11-20T10:14:32Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。