論文の概要: Energy-Based Reward Models for Robust Language Model Alignment

• arxiv url: http://arxiv.org/abs/2504.13134v1
• Date: Thu, 17 Apr 2025 17:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:44.044668
• Title: Energy-Based Reward Models for Robust Language Model Alignment
• Title（参考訳）: ロバスト言語モデルアライメントのためのエネルギーベースリワードモデル
• Authors: Anamika Lochab, Ruqi Zhang,
• Abstract要約: 省エネルギーリワードモデル(EBRM)について紹介する。 EBRMは報酬分布を明示的にモデル化し、人間の好みの不確実性を捉え、ノイズや不一致のアノテーションの影響を緩和する。 実験的な評価は、堅牢性と一般化の大幅な改善を示し、安全クリティカルなアライメントタスクの5.97%を達成している。
• 参考スコア（独自算出の注目度）: 9.843359827321194
• License:
• Abstract: Reward models (RMs) are essential for aligning Large Language Models (LLMs) with human preferences. However, they often struggle with capturing complex human preferences and generalizing to unseen data. To address these challenges, we introduce Energy-Based Reward Model (EBRM), a lightweight post-hoc refinement framework that enhances RM robustness and generalization. EBRM models the reward distribution explicitly, capturing uncertainty in human preferences and mitigating the impact of noisy or misaligned annotations. It achieves this through conflict-aware data filtering, label-noise-aware contrastive training, and hybrid initialization. Notably, EBRM enhances RMs without retraining, making it computationally efficient and adaptable across different models and tasks. Empirical evaluations on RM benchmarks demonstrate significant improvements in both robustness and generalization, achieving up to a 5.97% improvement in safety-critical alignment tasks compared to standard RMs. Furthermore, reinforcement learning experiments confirm that our refined rewards enhance alignment quality, effectively delaying reward hacking. These results demonstrate our approach as a scalable and effective enhancement for existing RMs and alignment pipelines. The code is available at EBRM.
• Abstract（参考訳）: リワードモデル(RM)は、大規模言語モデル(LLM)と人間の嗜好の整合に不可欠である。 しかし、複雑な人間の好みを捉え、目に見えないデータに一般化するのに苦労することが多い。 これらの課題に対処するために,我々は,RMの堅牢性と一般化を向上する軽量なポストホック改善フレームワークであるEnergy-Based Reward Model (EBRM)を紹介する。 EBRMは報酬分布を明示的にモデル化し、人間の好みの不確実性を捉え、ノイズや不一致のアノテーションの影響を緩和する。 これは、コンフリクト対応データフィルタリング、ラベル対応コントラストトレーニング、ハイブリッド初期化によって実現される。 特にEBRMは、再訓練せずにRMを強化し、異なるモデルやタスクに対して計算効率と適応性を向上する。 RMベンチマークの実証的な評価は、ロバスト性と一般化の両方において大幅な改善を示し、標準のRMよりも5.97%の安全クリティカルアライメントタスクを達成している。 さらに、強化学習実験により、改良された報酬はアライメント品質を高め、報酬ハッキングを効果的に遅らせることを確認した。 これらの結果は、既存のRMとアライメントパイプラインのスケーラブルで効果的な拡張として、我々のアプローチを実証している。 コードはEBRMで入手できる。

関連論文リスト

• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• RMB: Comprehensively Benchmarking Reward Models in LLM Alignment [44.84304822376291]
  リワードモデル(RM)は、大きな言語モデル(LLM)のアライメントをガイドする。 我々は、49以上の実世界のシナリオをカバーする包括的なRMベンチマークであるRMBを提案する。 ベンチマークに基づいて、最先端のRMについて広範な分析を行う。
  論文  参考訳（メタデータ） (2024-10-13T16:06:54Z)
• Uncertainty-aware Reward Model: Teaching Reward Models to Know What is Unknown [20.753374166695494]
  本稿では,Uncertainty-aware Reward Model (URM)とそのアンサンブル変種URMEを紹介する。 URMは、不整合な人間の嗜好属性の分布をモデル化することにより、アレタリック不確かさを捉えるために確率的値ヘッドを用いる。 URMEはさらに、アンサンブル内の個々のURM間の不一致を調べて不確実性を定量化し、信頼できない評価の特定を可能にする。
  論文  参考訳（メタデータ） (2024-10-01T16:29:59Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• Reward-Robust RLHF in LLMs [25.31456438114974]
  大規模言語モデル(LLM)は、より高度なインテリジェンスへと進化を続けている。 報酬モデルに基づく(RMに基づく)アライメント手法への依存は、大きな課題をもたらす。 本稿では,これらの課題に対処することを目的とした報酬損耗型RLHFフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T02:35:41Z)
• Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
  本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。 全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
  論文  参考訳（メタデータ） (2024-09-10T22:57:58Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
  Weight Averaged Reward Models (WARM) を提案する。 最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2024-01-22T18:27:08Z)
• Confronting Reward Model Overoptimization with Constrained RLHF [114.71591361764547]
  成分RM間の相関がこれらの点の位置に有意な影響を及ぼすことを示す。 ラグランジュ乗算器によって自然に表現される動的重みを学習することで、成分RMの重み付けの問題に対処する。
  論文  参考訳（メタデータ） (2023-10-06T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。