論文の概要: Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference

• arxiv url: http://arxiv.org/abs/2503.04793v1
• Date: Sat, 01 Mar 2025 14:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 08:47:06.866908
• Title: Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference
• Title（参考訳）: 文レベルのリワードモデルは人間の選好からLLMを適応させるのに有効である
• Authors: Wenjie Qiu, Yi-Chen Li, Xuqin Zhang, Tianyi Zhang, Yihang Zhang, Zongzhang Zhang, Yang Yu,
• Abstract要約: 我々は各文にスコアを割り当て、中間粒度の報酬モデルを導入することを提案する。 すべての文のスコアを応答レベルスコアに集約する新しい注意機構が導入された。 提案手法はRewardBench上で応答レベル報酬モデルを2.7%向上させる。
• 参考スコア（独自算出の注目度）: 27.205035058481553
• License:
• Abstract: Learning reward models from human preference datasets and subsequently optimizing language models via reinforcement learning has emerged as a fundamental paradigm for aligning LLMs with human preferences. The performance of the reward model plays a crucial role in the effectiveness of alignment. Previous reward models operate at a coarse-grained level, requiring the generation of a complete response to obtain a reward value. The sparse reward may present challenges for downstream reinforcement learning. While recent efforts have attempted to learn token-level reward models, the lack of explicit semantic information makes it difficult to model the credit of every individual token. In this paper, we propose assigning scores to every sentence, introducing an intermediate-grained reward model. By segmenting the complete response into sentences and applying differential operations to reward output at the start and end positions of each sentence, we can effectively model the rewards of sentences. Moreover, a novel attention mechanism is introduced to aggregate the scores of all sentences into a response-level score, which allows it to be trained using the Bradley-Terry model. On common benchmarks, our method outperforms the response-level reward model by 2.7% on RewardBench (for reward modeling evaluation) and surpasses all baselines on AlpacaEval (for alignment evaluation).
• Abstract（参考訳）: 人間の嗜好データセットから報酬モデルを学び、その後、強化学習を通じて言語モデルを最適化することが、LLMと人間の嗜好を整合させる基本的なパラダイムとして浮上した。 報酬モデルの性能は、アライメントの有効性において重要な役割を果たす。 従来の報酬モデルは粗粒度で動作し、報酬値を得るために完全な応答を生成する必要がある。 スパース報酬は下流の強化学習に課題をもたらす可能性がある。 最近の試みではトークンレベルの報酬モデルを学習しようと試みているが、明示的な意味情報がないため、個々のトークンの信用をモデル化することは困難である。 本稿では,各文にスコアを割り当て,中間粒度報酬モデルを提案する。 完全応答を文に分割し,各文の開始位置と終了位置の出力に差分演算を適用することにより,文の報酬を効果的にモデル化することができる。 さらに、すべての文のスコアを応答レベルスコアに集約する新しい注意機構を導入し、Bradley-Terryモデルを用いてトレーニングすることができる。 一般的なベンチマークでは,RewardBenchでは2.7%,AlpacaEvalではすべてのベースラインを上回り,応答レベル報酬モデルよりも2.7%向上した。

関連論文リスト

• Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model [96.20350225621813]
  人間からのフィードバックからの強化学習(RLHF)は、言語モデル(LM)を人間の好みに合わせるために広く採用されている。 本稿では,セグメントレベルの報酬モデルを用いて,学習と活用の両面での優位性を追求する。
  論文  参考訳（メタデータ） (2025-01-06T06:17:56Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)
• R3HF: Reward Redistribution for Enhancing Reinforcement Learning from Human Feedback [25.27230140274847]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせるためのパラダイムを提供する。 本稿では,より微細なトークンレベルの報酬配分を容易にするR3HFという新たな報酬分配手法を提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• HAF-RM: A Hybrid Alignment Framework for Reward Model Training [51.59246299566669]
  報酬モデルトレーニングのためのハイブリッドアライメントフレームワークHaF-RMを提案する。 報酬モデルのパフォーマンスとアライメントを高めるための、原則的で効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-04T23:26:56Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation [29.6763730290473]
  強化学習は、言語モデルと人間の嗜好のような区別できない報酬信号とを一致させることができる。 本稿では,中間段階の報酬を生成するために,大規模言語モデルの批判能力を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-14T22:05:11Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。