論文の概要: CM-DPO: Constraint-Margin Direct Preference Optimization for LLM Planning

• arxiv url: http://arxiv.org/abs/2610.09219v1
• Date: Tue, 06 Oct 2026 23:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.64591
• Title: CM-DPO: Constraint-Margin Direct Preference Optimization for LLM Planning
• Title（参考訳）: CM-DPO:LLM計画のための制約-マージン直接選好最適化
• Abstract要約: Constraint-Margin DPOはDPOの2進選好信号を決定論的シンボリック検証器から導かれる連続マージンに置き換える。 トラベルプランナー、ナチュラルプラン、アウト・オブ・ディストリビューションのプランベンチでは、CM-DPOで微調整された8Bモデルが89.2%のパスレートと93.4%の解決レートを達成した。
• 参考スコア（独自算出の注目度）: 5.535653202219941
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Direct Preference Optimization (DPO) treats all constraint violations equally: a $1 budget overshoot and a $1,000 overshoot induce the same training signal. It is also susceptible to length and style bias when preference pairs come from different model families. We introduce Constraint-Margin DPO (CM-DPO), which replaces DPO's binary preference signal with a continuous margin derived from a deterministic symbolic verifier and scaled by violation severity. Hard and soft constraints are separated through a lexicographic objective, ensuring hard constraints are never traded off against preferences. To supply CM-DPO with bias-reduced training pairs, we generate preference data through procedurally generated constraint profiles (DCCG) and minimal-edit distillation from a reasoning teacher (RT-MED), within a framework we call SynPlan-R. On TravelPlanner, NaturalPlan, and out-of-distribution PlanBench, an 8B model fine-tuned with CM-DPO achieves 89.2% pass rate and 93.4% solve rate, matching multi-agent systems at 13x lower latency while outperforming GPT-4o on unseen Blocksworld by 9.2 points.
• Abstract（参考訳）: 直接優先度最適化(DPO)は、全ての制約違反を平等に扱う:1ドルの予算オーバーシュートと1000ドルのオーバーシュートは、同じトレーニングシグナルを誘導する。 また、好みのペアが異なるモデルファミリから来ると、長さやスタイルの偏見に影響を受けやすい。 本稿では,DPOの2進選好信号を決定論的シンボル検証器から導出した連続利得に置き換え,違反重大度でスケールするConstraint-Margin DPO(CM-DPO)を紹介する。 ハード制約とソフト制約は、レキシコグラフィーの目的によって分離されるため、ハード制約が優先事項と引き離されることは決してない。 CM-DPOにバイアス低減学習ペアを供給するために、我々はSynPlan-Rと呼ぶフレームワーク内で、手続き的に生成された制約プロファイル(DCCG)と推論教師(RT-MED)による最小限の蒸留を通じて、好みデータを生成する。 TravelPlanner、NaturalPlan、およびアウト・オブ・ディストリビューションのPlanBenchでは、CM-DPOで微調整された8Bモデルが89.2%のパスレートと93.4%の解決レートを達成した。

関連論文リスト

• AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates [0.03999851878220877]
  本稿では,DPOアルゴリズムの自己適応的変種を提案する。 AdaDPOは、好ましくない確率と好ましくない確率の勾配の等級を強制するために構築される。 損失レベルで純粋に動作するため、AdaDPOは既存の好みベースのアライメントパイプラインにドロップすることができる。
  論文  参考訳（メタデータ） (2026-05-27T13:05:49Z)
• wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
  実際には、好みのデータはしばしばうるさい。 既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。 目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
  論文  参考訳（メタデータ） (2026-03-07T13:30:53Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization [0.0]
  Margin-Adaptive Direct Preference Optimizationは、安定的で、データ保存、インスタンスレベルのソリューションを提供する。 我々は、MADPOが優れた最適化環境を持っていることを証明し、包括的な理論的解析を行う。 ハイクオリティデータでは+33.3%、低クオリティデータでは+10.5%というパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-10-06T20:09:37Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization [34.29965046863887]
  Triple Preference Optimization (TPO) は、推論能力と命令追従能力の両方を強化するために設計された新しい選好学習手法である。 TPOは、異なるデータセットサイズで応答長を大幅に増加させることなく、既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-26T20:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。