論文の概要: DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding

• arxiv url: http://arxiv.org/abs/2603.08145v1
• Date: Mon, 09 Mar 2026 09:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.731102
• Title: DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding
• Title（参考訳）: DARC: リスク制約付きデコードによる診断認識アライメント
• Abstract要約: 本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
• 参考スコア（独自算出の注目度）: 59.16244104797919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference-based alignment methods (e.g., RLHF, DPO) typically optimize a single scalar objective, implicitly averaging over heterogeneous human preferences. In practice, systematic annotator and user-group disagreement makes mean-reward maximization brittle and susceptible to proxy over-optimization. We propose **Disagreement-Aware Alignment via Risk-Constrained Decoding (DARC)**, a retraining-free inference-time method that frames response selection as distributionally robust, risk-sensitive decision making. Given multiple preference samples or scalable disagreement proxies, DARC reranks candidates by maximizing a *KL-robust (entropic)* satisfaction objective, and provides simple deployment controls that cap or penalize the corresponding entropic risk premium relative to the mean, enabling explicit risk budgets without retraining. We provide theoretical characterization linking this decoding rule to principled pessimism and KL-based distributionally robust optimization. Experiments on alignment benchmarks show that DARC reduces disagreement and tail risk while maintaining competitive average quality under noisy, heterogeneous feedback.
• Abstract（参考訳）: 嗜好に基づくアライメント手法(例えば、RLHF、DPO)は、通常、1つのスカラー目的を最適化し、異質な人間の嗜好よりも暗黙的に平均化する。 実際には、体系的なアノテータとユーザグループの不一致は、平均回帰最大化の脆さを招き、プロキシ過剰最適化の影響を受ける。 リスク制約付き復号法(DARC)*は、応答選択を分布的に堅牢で、リスクに敏感な意思決定とみなすリトレーニング不要な推論時間法である。 複数の選好サンプルやスケーラブルな不一致プロキシが与えられた場合、DARCは*KL-robust(エントロピー)*満足度目標を最大化することで候補を再評価し、対応するエントロピーリスクプレミアムを平均に対してカプセル化またはペナルティ化するシンプルな展開制御を提供し、再トレーニングせずに明確なリスク予算を可能にする。 我々は、この復号規則を原理的悲観主義とKLに基づく分布論的ロバストな最適化に結びつける理論的特徴付けを提供する。 アライメントベンチマークの実験では、DARCはノイズの多い不均一なフィードバックの下で競争平均品質を維持しながら、不一致と尾のリスクを低減する。

関連論文リスト

• Long-Term Sequential Decision Making under Risk [0.0]
  本研究では,Emphrootに基づく(絶対的)リスク目標の下での有限水平MDP計画について検討し,全リターン分布にランク依存関数を適用した。 我々は列挙自由でサンプリング不要な方法である textbfERQDP を提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:44:25Z)
• Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment [51.18269946911088]
  RLHF(Reinforcement Learning from Human Feedback)の代替としてDPO(Direct Preference Optimization)が登場している。 このような場合、DPOとRLHFは基本的に異なる目的を最適化する。 本稿では,制約付き制約付きRLHF(Constrained Preference Optimization, CPO)を導入する。 我々の理論的分析は、DPOの保証が保たれ、証明可能なアライメントで単純さを保つソリューションを提供するときに成立する。
  論文  参考訳（メタデータ） (2026-05-20T07:26:22Z)
• Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria [17.272139541614383]
  Auto-Rubric as Reward (ARR)は、暗黙の重み付け最適化から明示的な基準ベースの分解まで、報酬モデリングを再構成するフレームワークである。 ARRはVLMの選好知識をプロンプト固有の勾配として外部化し、全体論的意図を独立に検証可能な品質次元に変換する。 ARR-RPOは、テキスト・ツー・イメージ生成と画像編集のベンチマークにおいて、ペアワイズ報酬モデルとVLM判事より優れている。
  論文  参考訳（メタデータ） (2026-05-08T18:05:27Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment [6.428964221372943]
  本稿では,固定参照を動的な幾何学的アンカーに置き換えたGeometric Anchor Preference Optimization (GAPO)を提案する。 GAPOは標準のLCMアライメントと推論ベンチマークのパフォーマンスをマッチングまたは改善しながら、ロバストさを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-04T00:40:21Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• A Novel Generative Model with Causality Constraint for Mitigating Biases in Recommender Systems [20.672668625179526]
  遅延共起バイアスは、ユーザのフィードバックとアイテムの露出の間の真の因果関係を曖昧にする可能性がある。 本稿では,Recommender Systemsにおける表現学習のための遅延因果制約(Latent Causality Constraints)と呼ばれる新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-22T14:09:39Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。