論文の概要: Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

• arxiv url: http://arxiv.org/abs/2501.02790v1
• Date: Mon, 06 Jan 2025 06:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:21.568469
• Title: Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model
• Title（参考訳）: 言語モデルにおけるRLHFの改良のためのテキストのセグメンテーションとリワード学習
• Authors: Yueqin Yin, Shentao Yang, Yujia Xie, Ziyi Yang, Yuting Sun, Hany Awadalla, Weizhu Chen, Mingyuan Zhou,
• Abstract要約: 人間からのフィードバックからの強化学習(RLHF)は、言語モデル(LM)を人間の好みに合わせるために広く採用されている。 本稿では,セグメントレベルの報酬モデルを用いて,学習と活用の両面での優位性を追求する。
• 参考スコア（独自算出の注目度）: 96.20350225621813
• License:
• Abstract: Reinforcement learning from human feedback (RLHF) has been widely adopted to align language models (LMs) with human preference. Prior RLHF works typically take a bandit formulation, which, though intuitive, ignores the sequential nature of LM generation and can suffer from the sparse reward issue. While recent works propose dense token-level RLHF, treating each token as an action may be oversubtle to proper reward assignment. In this paper, we seek to get the best of both by training and utilizing a segment-level reward model, which assigns a reward to each semantically complete text segment that spans over a short sequence of tokens. For reward learning, our method allows dynamic text segmentation and compatibility with standard sequence-preference datasets. For effective RL-based LM training against segment reward, we generalize the classical scalar bandit reward normalizers into location-aware normalizer functions and interpolate the segment reward for further densification. With these designs, our method performs competitively on three popular RLHF benchmarks for LM policy: AlpacaEval 2.0, Arena-Hard, and MT-Bench. Ablation studies are conducted to further demonstrate our method.
• Abstract（参考訳）: 人間からのフィードバックからの強化学習(RLHF)は、言語モデル(LM)を人間の好みに合わせるために広く採用されている。 以前のRLHFの作業は、直感的ではあるが、LM生成のシーケンシャルな性質を無視し、スパース報酬問題に悩まされるバンディットの定式化が一般的であった。 近年の研究では、高密度なトークンレベルRLHFを提案する一方で、各トークンをアクションとして扱うことは、適切な報酬の割り当てに過小評価される可能性がある。 本稿では,短いトークン列にまたがる各意味論的完全テキストセグメントに報酬を割り当てるセグメントレベルの報酬モデルを用いて,トレーニングと活用の両面から最善を尽くそうとする。 報酬学習のために,本手法は動的テキストセグメンテーションと標準シーケンス参照データセットとの互換性を実現する。 セグメント報酬に対する効果的なRLベースのLMトレーニングでは,従来のスカラーバンディット報酬正規化器を位置認識正規化関数に一般化し,セグメント報酬をさらなる密度化のために補間する。 これらの設計により,本手法はALpacaEval 2.0, Arena-Hard, MT-Benchの3つの有名なRLHFベンチマークに対して競合的に動作する。 我々の方法をさらに実証するためにアブレーション研究を行った。

関連論文リスト

• Provably Efficient RLHF Pipeline: A Unified View from Contextual Bandits [59.30310692855397]
  本稿では,RLHFパイプラインをコンテキスト的帯域幅の観点から統一したフレームワークを提案する。 RLHFプロセスは、(ポスト-)トレーニングとデプロイメントの2つのステージに分解します。 次に,各ステージごとに新しいアルゴリズムを開発し,統計的および計算効率の両面で有意な改善を示す。
  論文  参考訳（メタデータ） (2025-02-11T02:36:01Z)
• Towards Cost-Effective Reward Guided Text Generation [27.11836864643437]
  Reward-guided Text Generation (RGTG) は、人間のフィードバックからオフラインで強化学習を行うための代替手段として登場した。 本稿では、Bradley-Terry損失を用いてトレーニングされた新たな報酬モデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-06T21:36:44Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)
• Optimal Design for Reward Modeling in RLHF [83.3614658277817]
  我々は,人間からの強化学習における報酬訓練モデルを定式化する。 有効なデータセットの選択は、単純な後悔の最小化タスクとしてフレーム化します。 適切な前提の下では、単純な後悔に縛られる。
  論文  参考訳（メタデータ） (2024-10-22T14:36:44Z)
• How to Evaluate Reward Models for RLHF [51.31240621943791]
  我々は、RLHF(Reinforcement Learning from Human Feedback)を通して強力な言語モデルを生成する能力を定量化する報酬モデルのための新しいベンチマークを導入する。 我々は,プロキシタスクの報酬モデルを評価することにより,下流LLM性能の予測モデルを構築した。 大規模クラウドソースによる人選好プラットフォーム上でのエンドツーエンドのRLHF実験をローンチした。
  論文  参考訳（メタデータ） (2024-10-18T21:38:21Z)
• Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback [8.601283886845664]
  人間のフィードバック(RLHF)からの強化学習は、大規模言語モデル(LLM)と人間の意図と価値を一致させる。 その効果と人気にもかかわらず、RLHFは局所最適化に偏っている。 本稿では,新しいテキストシーケンス・ツー・シーケンス(seq2seq)報酬モデリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:14:35Z)
• A Critical Look At Tokenwise Reward-Guided Text Generation [23.908449840589284]
  フルシーケンスでトレーニングされた報酬モデルは、スコアリング部分シーケンスと互換性がないことを示す。 本稿では,部分列を明示的に学習するBradley-Terry報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-12T00:19:40Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。