論文の概要: Robust Direct Preference Optimization under Preference Label-Flip Attacks

• arxiv url: http://arxiv.org/abs/2610.24945v1
• Date: Sun, 18 Oct 2026 01:38:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:45:49.321259
• Title: Robust Direct Preference Optimization under Preference Label-Flip Attacks
• Title（参考訳）: 選好ラベルフリップ攻撃によるロバスト直接選好最適化
• Abstract要約: 直接選好最適化(DPO)は、人間のフィードバックからオフラインで強化学習を行うために広く使われている。 近年の研究では、DPOは逆選好ラベルフリップ攻撃によって容易に操作できることが示されている。 このような攻撃に対して防御できる堅牢なDPO手法を設計する。
• 参考スコア（独自算出の注目度）: 22.51957258782721
• License:
• Abstract: Direct Preference Optimization (DPO) is widely used for offline Reinforcement Learning from Human Feedback. However, recent works have shown that DPO can be easily manipulated by adversarial preference label flip attacks, which are specifically designed to mislead the learner toward an attacker-chosen target policy. To address this issue, we design robust DPO methods that can defend against such attacks. Building on the property that lable flips induce parameter-independent gradient shifts in log-linear DPO, we propose Trim-$K$ Robust-DPO, which removes the $K$ highest-impact pairs, and Soft-Trim-$K$ Robust-DPO, which smoothly downweights them. We establish deterministic gradient perturbation bounds uniformly over all attack sets containing at most $K$ flips, explicitly separating defense-induced bias from surviving attack effects. Under bounded-region assumptions, these bounds yield time-uniform parameter and policy deviation guarantees. We further quantify how quadratic regularization improves curvature while introducing additional bias. Experiments on Stanford Human Preferences, HH-RLHF, and UltraFeedback-Binarized validate our analysis.
• Abstract（参考訳）: 直接選好最適化(DPO)は、人間のフィードバックからオフラインで強化学習を行うために広く使われている。 しかし、近年の研究では、DPOは逆選択ラベルフリップ攻撃によって容易に操作できることが示されている。 この問題に対処するために、このような攻撃に対して防御できる堅牢なDPO手法を設計する。 対数線形DPOのパラメータ非依存的な勾配シフトを誘導する性質に基づいて、最高インパクト対を除去するTrim-$K$ Robust-DPOと、それらを滑らかに下降させるSoft-Trim-$K$ Robust-DPOを提案する。 我々は,最大でK$のフリップを含む全ての攻撃セットに対して,決定論的勾配摂動境界を均一に設定し,防御誘起バイアスと生存する攻撃効果を明確に分離する。 境界領域の仮定の下では、これらの境界は時間一様パラメータと政策偏差を保証する。 さらに,2次正則化によって曲率が向上し,バイアスが増大する。 Stanford Human Preferences、HH-RLHF、UltraFeedback-Binarizedの実験は、我々の分析を検証した。

関連論文リスト

• PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization [40.91256615677526]
  本稿では,好みを安定的に最適化するための後ラベル補正DPOを提案する。 主要な考え方は、適切な修正措置を取るために、政策基準マージンをオンライン証拠として使うことである。 PLC-DPOは、DPOに対する最良の平均勝利率を得る(次ベット法では60.5対55.5)
  論文  参考訳（メタデータ） (2026-08-31T11:11:33Z)
• S-SPPO: Semantic-Calibrated Self-Play Preference Optimization [36.01916066772865]
  本稿では,自己生成型ウインロースペアの学習によってポリシーを反復的に洗練する自己再生選好最適化(SPPO)を提案する。 本研究はSPPOにおける重要な不安定性を明らかにし,選択が過度に自信を持った勝利を意味的に区別不能な応答に割り当てる場合,最適化は政策の退化を招く。 Llama-3-8Bを用いたAlpacaEval 2.0ではS-SPPOは52.19%の勝利率と47.46%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-06-01T02:06:58Z)
• Efficient Preference Poisoning Attack on Offline RLHF [22.51957258782721]
  ログリニアDPOに対するラベルフリップ攻撃について検討した。 BAL-A(Binary-Aware Lattice Attack)とBMP-A(Binary Matching Pursuit Attack)の2つの攻撃方法を開発した。
  論文  参考訳（メタデータ） (2026-05-04T11:45:38Z)
• wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
  実際には、好みのデータはしばしばうるさい。 既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。 目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
  論文  参考訳（メタデータ） (2026-03-07T13:30:53Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Provably Robust DPO: Aligning Language Models with Noisy Feedback [10.523790076060171]
  ランダムな選好フリップが存在する場合に、ポリシー最適化のための一般的なフレームワークを導入する。 本研究では,ノイズが平均値に与える影響を非バイアス化する新しい損失関数を設計し,その損失を騒音に頑健に抑えることで訓練を行う。 IMDb 感情生成と Anthropic's useful-harmless データセットを用いた実験により,rDPO はバニラ DPO と比較して好みラベルのノイズに対して頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-01T09:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。