論文の概要: Normalized Rewards for Preference Optimization

• arxiv url: http://arxiv.org/abs/2607.16240v1
• Date: Fri, 26 Jun 2026 03:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.051361
• Title: Normalized Rewards for Preference Optimization
• Title（参考訳）: 参照最適化のための正規化リワード
• Abstract要約: DAAは、暗黙の報酬モデルを過度に最適化し、望ましい反応の可能性を減らすことが観察されている。 正則化の有無にかかわらず,トークン上で応答可能性の変化がどのように分布するかを検討する。 可能性の変化のかなりの部分は、小さな外れ値の集合によるものであることが判明した。
• 参考スコア（独自算出の注目度）: 15.700605203114899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Alignment Algorithms (DAAs) such as DPO have become a common way to post-train and align LLMs with human preferences. However, DAAs have been observed to over-optimize their implicit reward model and decrease the likelihood of preferred responses. This results in a decrease in the total likelihood assigned to responses seen in the preference dataset, potentially resulting in undesirable behavior. To counteract this undesired side-effect of DAAs, we examine the effect of using objectives that add a regularization term to maintain the total length-normalized probabilities of the chosen and rejected responses. To better understand over-optimization, we investigate how response likelihood changes are distributed over the tokens with and without regularization. We find that a significant portion of the likelihood changes are due to a small set of outlier tokens, which explains how DAAs improve generation quality despite decreasing the likelihoods of chosen responses. We apply the proposed regularization to reference-based (DPO) and reference-free (SimPO) methods and find (1) improved trade-offs between generation quality and general benchmark capability and (2) improvements in reward modeling across datasets. For example, on Llama-3.1-8B-Instruct, we see both a >20% relative increase in AlpacaEval2 scores and >9% relative performance gains on general benchmarks. Additionally, we find that the added regularization term effectively mitigates the amount of displacement within preferred responses overall, and for the outlier tokens specifically, by utilizing low-likelihood tokens.
• Abstract（参考訳）: DPOのような直接アライメントアルゴリズム(DAA)は、LLMを人間の好みに合わせるための一般的な方法となっている。 しかし、DAAは暗黙の報酬モデルを過度に最適化し、望ましい反応の可能性を減らすことが観察されている。 この結果、選好データセットに見られる応答に割り当てられた総確率が減少し、望ましくない振る舞いをもたらす可能性がある。 そこで本研究では,DAAの非望ましくない副作用に対する対策として,正規化項を付加した目的を用いて,選択された応答と拒否された応答の総長正規化確率を維持する方法を検討した。 過度な最適化をよりよく理解するために、正則化なしでトークン上で応答可能性の変化がどのように分散されるかを検討する。 確率の変化のかなりの部分は、選択された応答の確率を減らしながら、DAAが生成品質をどのように改善するかを説明する、小さな外れ値の集合によるものであることが判明した。 提案手法を参照ベース(DPO)法と参照フリー(SimPO)法に適用し,(1)生成品質と一般的なベンチマーク性能のトレードオフの改善,(2)データセット間の報酬モデリングの改善について検討する。 例えば、Llama-3.1-8B-Instructでは、AlpacaEval2スコアの20%以上の相対的な増加と、一般的なベンチマークでの9%以上の相対的なパフォーマンス向上が見られます。 さらに, 付加正規化項は, 優先応答における変位量を効果的に軽減し, かつ, 特に, 低形トークンを利用することにより, 外れ値トークンに対して有効であることがわかった。

関連論文リスト

• Distribution Preference Optimization: A Fine-grained Perspective for LLM Unlearning [26.120338506874976]
  モデルユーティリティ全体を維持しながら、特定のデータの影響を取り除くことを目的としたアンラーニングは、重要な研究領域になりつつある。 textbfDistribution textbfPreference textbfOptimization (DiPO)と呼ばれる新しい未学習アルゴリズムを導出する。 DiPOはTOFUベンチマークで最高の品質を獲得し、MUSEベンチマークで主要なスケーラビリティと持続可能性を維持している。
  論文  参考訳（メタデータ） (2025-10-06T12:49:00Z)
• Towards Bridging the Reward-Generation Gap in Direct Alignment Algorithms [10.950194915191682]
  Reinforcement Learning from Human Feedback (RLHF)アルゴリズムの代替として、DAA(Direct Alignment Algorithms)が登場した。 DAAは、トレーニング中の最適化目標と推論時の実際の生成性能の相違に悩まされる。 我々は,DAAのトークンレベルのMDPパースペクティブを導入し,その限界を分析するとともに,Prefix-Oriented Equal-length Training(POET)と呼ばれるシンプルなアプローチを導入する。
  論文  参考訳（メタデータ） (2025-06-11T07:02:18Z)
• Proximalized Preference Optimization for Diverse Feedback Types: A Decomposed Perspective on DPO [19.5712961932773]
  我々は、直接選好最適化(DPO)を再考し、その損失が理論的に分解された改革を認めることを実証する。 PRO (Proximalized PReference Optimization) を導入し,多様な課金型に対応する統一手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T10:23:22Z)
• On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。 従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。 従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
  論文  参考訳（メタデータ） (2025-05-24T18:58:51Z)
• Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [51.74394601039711]
  人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。 このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:14:38Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Understanding Likelihood Over-optimisation in Direct Alignment Algorithms [20.043560907227018]
  ダイレクトアライメントアルゴリズム(DAA)は、ヒューマンフィードバックによるオンライン強化学習の代替として登場した。 これらのアルゴリズムは、より良い(好ましくない)完了を生成する可能性を高めつつ、悪い(好ましくない)完了を阻止することを目的としている。 本研究は,最先端DAAにおける完成可能性とモデル性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-15T15:14:22Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。