論文の概要: PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization

• arxiv url: http://arxiv.org/abs/2608.30597v1
• Date: Mon, 31 Aug 2026 11:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.358221
• Title: PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization
• Title（参考訳）: PLC-DPO:雑音およびあいまいな選好最適化における後部ラベル補正
• Abstract要約: 本稿では,好みを安定的に最適化するための後ラベル補正DPOを提案する。 主要な考え方は、適切な修正措置を取るために、政策基準マージンをオンライン証拠として使うことである。 PLC-DPOは、DPOに対する最良の平均勝利率を得る(次ベット法では60.5対55.5)
• 参考スコア（独自算出の注目度）: 40.91256615677526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) simplifies alignment through pairwise comparisons but assumes all observed preferences are reliable. Real data often violates this assumption, leading to reversed, weak, or ambiguous labels that cause harmful policy updates. To address this, we propose Posterior Label Correction DPO (PLC-DPO) to robustly optimize preferences by routing each pair's training signal as a clean, flip, or tie case. The key idea is to use the calibrated policy-reference margin as online evidence to take appropriate correction actions. This reframes noisy preference learning as actively correcting supervision direction and strength rather than merely filtering suspicious examples. Across 57 dataset-model-benchmark cells, PLC-DPO obtains the best mean win rate against DPO (60.5 vs. 55.5 for the next-best method). Injected-noise and tie stress tests, human disagreement analysis, and self-confirmation diagnostics further show that the routing remains stable and distinguishes flipped from weakly directional pairs.
• Abstract（参考訳）: 直接選好最適化(DPO)は、ペア比較によるアライメントを単純化するが、すべての観測された選好が信頼できると仮定する。 本当のデータは、しばしばこの仮定に反し、有害なポリシー更新を引き起こす、逆の、弱い、曖昧なラベルにつながる。 これを解決するために,各ペアのトレーニング信号をクリーン,フリップ,タイケースとしてルーティングすることで,好みを確実に最適化する後ラベル補正DPO(PLC-DPO)を提案する。 鍵となる考え方は、調整済みの政策基準マージンをオンライン証拠として使用して適切な修正措置をとることである。 これは、不審な例をフィルタリングするだけでなく、監督方向と強度を積極的に補正するノイズの多い選好学習を再構成する。 PLC-DPOは、57個のデータセット-モデル-ベンチマーク細胞全体で、DPOに対して最高の平均勝利率を得る(次のベストメソッドでは60.5対55.5)。 インジェクテッドノイズとタイトストレステスト、ヒトの不一致分析、自己確認診断は、ルーティングが安定であり、弱い方向のペアとフリップしたペアを区別することを示している。

関連論文リスト

• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates [0.03999851878220877]
  本稿では,DPOアルゴリズムの自己適応的変種を提案する。 AdaDPOは、好ましくない確率と好ましくない確率の勾配の等級を強制するために構築される。 損失レベルで純粋に動作するため、AdaDPOは既存の好みベースのアライメントパイプラインにドロップすることができる。
  論文  参考訳（メタデータ） (2026-05-27T13:05:49Z)
• Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment [51.18269946911088]
  RLHF(Reinforcement Learning from Human Feedback)の代替としてDPO(Direct Preference Optimization)が登場している。 このような場合、DPOとRLHFは基本的に異なる目的を最適化する。 本稿では,制約付き制約付きRLHF(Constrained Preference Optimization, CPO)を導入する。 我々の理論的分析は、DPOの保証が保たれ、証明可能なアライメントで単純さを保つソリューションを提供するときに成立する。
  論文  参考訳（メタデータ） (2026-05-20T07:26:22Z)
• Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE [7.609008983716641]
  我々は、一般的なネガティブ選択戦略とDPOトレーニングとの相互作用を比較するために、マルチモーダルシーケンシャルレコメンデーションの実験を行う。 我々の中心的な発見は、決定論的ハードネガティブを動的トップK候補プールからのサンプリングに置き換えた単純な修正により、常にランク付け性能が向上することである。
  論文  参考訳（メタデータ） (2026-03-31T04:49:32Z)
• wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
  実際には、好みのデータはしばしばうるさい。 既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。 目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
  論文  参考訳（メタデータ） (2026-03-07T13:30:53Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• Lightweight Robust Direct Preference Optimization [26.99327564250612]
  DPO-PRO (DPO with Preference Robustness) はDPOに基づく頑健な微調整アルゴリズムである。 従来のDROベースの変種とは異なり、DPO-PROは好みの不確実性にのみ焦点をあて、不必要な保守性を避け、無視可能な計算オーバーヘッドを発生させる。
  論文  参考訳（メタデータ） (2025-10-27T17:55:06Z)
• Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization [0.0]
  Margin-Adaptive Direct Preference Optimizationは、安定的で、データ保存、インスタンスレベルのソリューションを提供する。 我々は、MADPOが優れた最適化環境を持っていることを証明し、包括的な理論的解析を行う。 ハイクオリティデータでは+33.3%、低クオリティデータでは+10.5%というパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-10-06T20:09:37Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。