論文の概要: Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

• arxiv url: http://arxiv.org/abs/2605.10998v1
• Date: Sat, 09 May 2026 15:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.287398
• Title: Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs
• Title（参考訳）: 脱獄用LDMのDPO攻撃について
• Abstract要約: 直接選好最適化 (DPO) では, より強く, 聴取しにくい障害モードが導入された。 10対の無害な選好ペアのみを用いて真に良性なDPO攻撃を提案する。 我々の攻撃成功率は、GPT-4oで59.13%、GPT-4.1で70.20%、GPT-4.1-miniで54.80%、GPT-4.1-nanoで81.73%である。
• 参考スコア（独自算出の注目度）: 8.039623068421328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning APIs make frontier LLMs easy to customize, but they can also weaken safety alignment during fine-tuning. While prior work shows that benign supervised fine-tuning (SFT) can reduce refusal behavior, deployed fine-tuning pipelines increasingly support preference-based objectives, whose safety risks remain less understood. We show that Direct Preference Optimization (DPO) introduces a stronger and harder-to-audit failure mode. We propose a truly benign DPO attack using only 10 harmless preference pairs, the minimum data scale accepted by OpenAI's fine-tuning service. Each pair contains a benign prompt, a normal helpful answer as the preferred response, and a refusal as the dispreferred response. Unlike prior benign fine-tuning attacks, our data exhibits no suspicious behavior: it is practically indistinguishable from the fine-tuning request of a legitimate user seeking to reduce over-refusal, making harmful intent almost impossible to infer from the request alone. Nevertheless, because DPO directly optimizes the model to prefer helpful answers over refusals, this seemingly benign objective broadly suppresses refusal behavior and transfers to harmful prompts outside the fine-tuning data. Across OpenAI models supporting DPO fine-tuning, our attack achieves attack success rates of 59.13% on GPT-4o, 70.20% on GPT-4.1, 54.80% on GPT-4.1-mini, and 81.73% on GPT-4.1-nano, at costs of only \$1.7, \$1.7, \$0.3, and \$0.1. Moreover, on open-weight models that do not impose minimum data requirements, we find that this effect can emerge from even a single benign preference pair.
• Abstract（参考訳）: 細調整のAPIは、フロンティアのLLMをカスタマイズしやすくするが、細調整時の安全性のアライメントを弱めることもできる。 以前の研究では、良質な教師付き微調整(SFT)が拒絶行動を減らす可能性があることが示されていたが、細調整パイプラインの配置は、安全リスクの低い嗜好に基づく目標をますます支持している。 直接選好最適化 (DPO) では, より強く, 聴取しにくい障害モードが導入された。 我々は,OpenAIの微調整サービスで受け入れられる最小データスケールである10組の無害な選好ペアを使用して,真に良質なDPO攻撃を提案する。 それぞれのペアは、良心的なプロンプト、好ましくは通常の助力的な応答、非推奨な応答としての拒絶を含む。 従来の良質な微調整攻撃とは異なり、我々のデータは疑わしい振る舞いを示さない: 過度な拒否を減らそうとする正当なユーザの微調整要求とは実質的に区別がつかないため、有害な意図が要求のみから推測することはほとんど不可能である。 それでも、DPOはモデルを直接最適化して、拒否よりも有用な回答を優先しているため、この明確な客観的な目的は、拒否行動を広く抑制し、微調整データの外部の有害なプロンプトに転送する。 DPO微調整をサポートするOpenAIモデル全体で、GPT-4.1で59.13%、GPT-4.1-miniで70.20%、GPT-4.1-nanoで54.80%、GPT-4.1-nanoで81.73%の攻撃成功率を達成した。 さらに、最小限のデータ要求を課さないオープンウェイトモデルでは、この効果は1つの良心的な選好ペアからも生じうる。

関連論文リスト

• Boosting Direct Preference Optimization with Penalization [0.0]
  DPOP(Direct Preference Optimization with Penalization)は、DPOの単純な拡張であり、基準グレード応答に対するゲートペナルティによるベース優先損失を増大させる。 AlpacaEval 2.0では、DPOPはLlama-3-8b-itとGemma-2-9b-itの両方でDPO、SimPO、AlphaDPOよりも長さ制御された勝利率を改善する。
  論文  参考訳（メタデータ） (2026-06-10T17:22:51Z)
• wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
  実際には、好みのデータはしばしばうるさい。 既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。 目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
  論文  参考訳（メタデータ） (2026-03-07T13:30:53Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Provably Robust DPO: Aligning Language Models with Noisy Feedback [10.523790076060171]
  ランダムな選好フリップが存在する場合に、ポリシー最適化のための一般的なフレームワークを導入する。 本研究では,ノイズが平均値に与える影響を非バイアス化する新しい損失関数を設計し,その損失を騒音に頑健に抑えることで訓練を行う。 IMDb 感情生成と Anthropic's useful-harmless データセットを用いた実験により,rDPO はバニラ DPO と比較して好みラベルのノイズに対して頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-01T09:55:18Z)
• Direct Preference Optimization with an Offset [58.7977683502207]
  直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる成功戦略である。 本稿では,DPOをオフセット(ODPO)で一般化し,微調整時にすべての選好ペアを等しく扱わないDPOを提案する。
  論文  参考訳（メタデータ） (2024-02-16T10:55:38Z)
• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! [88.90694413503614]
  LLMの安全性は微調整によって損なわれる可能性がある。 我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。 我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-10-05T17:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。