論文の概要: DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.18609v1
• Date: Tue, 13 Oct 2026 15:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.668964
• Title: DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization
• Title（参考訳）: DPOison-VL:ビジョンランゲージ直接選好最適化におけるクリーンな選好ポジショニング
• Abstract要約: DPOison-VLは視覚言語モデル(VLM)に対する最初のクリーンな嗜好中毒攻撃である。 DPOison-VLは、少数の訓練画像において、知覚不能な摂動を通してのみモデルアライメントを操作する。 この結果,VLM-DPOでは,優先訓練データにおける知覚不能な画像摂動が,無声でアライメントをリダイレクトできる重大な脆弱性がみられた。
• 参考スコア（独自算出の注目度）: 6.159944320831765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) has become a widely adopted approach for aligning vision-language models (VLMs), yet the security of multimodal preference data remains largely unexplored. Existing preference poisoning attacks either corrupt explicit supervision signals or require visible triggers, making them detectable under human inspection. We introduce DPOison-VL, the first clean preference poisoning attack against VLM-DPO, which manipulates model alignment solely through imperceptible perturbations on a small fraction of training images, while leaving all prompts, responses, and preference annotations semantically intact. We formulate poison construction as a bilevel optimization and derive a gradient alignment surrogate that efficiently steers image perturbations toward the attacker-specified preference. We further introduce a preference displacement score for principled poison selection with provable first-order optimality under a fixed poison budget, and derive a sufficient condition for preference inversion. Extensive experiments across diverse attack tasks, different VLM architectures and scales, and baseline comparisons demonstrate that DPOison-VL achieves up to 98\% ASR with only 2\% poisoned data and exhibits cross-model transferability, while largely preserving clean accuracy and general utility. Our findings reveal a critical vulnerability in VLM-DPO, where imperceptible image perturbations in preference training data can silently redirect alignment.
• Abstract（参考訳）: 直接選好最適化(DPO)は視覚言語モデル(VLM)の整合化のアプローチとして広く採用されているが、マルチモーダル選好データのセキュリティは未解明のままである。 既存の嗜好中毒は、露骨な監視シグナルを乱すか、目に見えるトリガーを必要とするかのいずれかを攻撃し、人間の検査で検出できる。 VLM-DPOに対する最初のクリーンな嗜好中毒攻撃であるDPOison-VLを導入する。DPOison-VLは、少数の訓練画像において、知覚不能な摂動によってのみモデルアライメントを操作し、すべてのプロンプト、応答、嗜好アノテーションを意味的に無意味に残す。 本研究では, 2レベル最適化として毒素構築を定式化し, 画像の摂動を攻撃者特有の嗜好に対して効率的に制御する勾配アライメント・サロゲートを導出する。 さらに、固定毒予算の下で、一階最適性を証明可能な原則毒素選択のための選好偏差スコアを導入し、選好逆転のための十分な条件を導出する。 多様な攻撃タスク、異なるVLMアーキテクチャ、スケール、およびベースライン比較による大規模な実験により、DPOison-VLは2\%の有毒データで最大98\%のASRを達成でき、クロスモデル転送性を示しながら、ほとんどはクリーンな精度と汎用性を保っている。 この結果,VLM-DPOでは,優先訓練データにおける知覚不能な画像摂動が,無声でアライメントをリダイレクトできる重大な脆弱性がみられた。

関連論文リスト

• P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization [55.74731799669337]
  幻覚は近年、LVLM(Large Vision-Language Models)において大きな研究の注目を集めている。 直接選好最適化(DPO)は、人間が提供した修正選好から直接学習することを目的としている。 既存の選好ペアは視覚に依存しないことが多く、その本質的に非政治的な性質は、モデル学習を導く上での有効性を制限している。 本稿では、モデルが独自の選好ペアから生成し学習する新しい訓練パラダイムである知覚処理直接選好最適化(P$2$-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T09:22:53Z)
• Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
  マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。 まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。 次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
  論文  参考訳（メタデータ） (2026-05-06T13:08:12Z)
• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。