論文の概要: A Critical Look At Tokenwise Reward-Guided Text Generation

• arxiv url: http://arxiv.org/abs/2406.07780v2
• Date: Fri, 14 Feb 2025 15:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:46:39.738265
• Title: A Critical Look At Tokenwise Reward-Guided Text Generation
• Title（参考訳）: Tokenwise Reward-Guided Text Generation レビュー
• Authors: Ahmad Rashid, Ruotian Wu, Julia Grosse, Agustinus Kristiadi, Pascal Poupart,
• Abstract要約: フルシーケンスでトレーニングされた報酬モデルは、スコアリング部分シーケンスと互換性がないことを示す。 本稿では,部分列を明示的に学習するBradley-Terry報酬モデルを提案する。
• 参考スコア（独自算出の注目度）: 23.908449840589284
• License:
• Abstract: Large language models (LLMs) can be improved by aligning with human preferences through fine-tuning -- the so-called reinforcement learning from human feedback (RLHF). However, the cost of fine-tuning an LLM is prohibitive for many users. Due to their ability to bypass LLM fine-tuning, prediction-time tokenwise reward-guided text generation (RGTG) methods have recently been proposed. They use a reward model trained on full sequences to score partial sequences during decoding in a bid to steer the generation towards sequences with high rewards. However, these methods have so far been only heuristically motivated and poorly analyzed. In this work, we show that reward models trained on full sequences are not compatible with scoring partial sequences. To alleviate this issue, we propose to train a Bradley-Terry reward model on partial sequences explicitly, and autoregressively sample from the implied tokenwise policy during decoding time. We study the properties of this reward model and the resulting policy: we show that this policy is proportional to the ratio of two distinct RLHF policies. Our simple approach outperforms previous RGTG methods and performs similarly to strong offline baselines without large-scale LLM finetuning.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、人間の好みに合わせて微調整することで改善することができる。 しかし、LLMを微調整するコストは、多くのユーザにとって禁じられている。 LLMの微調整を回避できるため、最近RGTG法が提案されている。 彼らは、全シーケンスでトレーニングされた報酬モデルを使用して、復号時に部分的なシーケンスをスコアし、高い報酬を持つシーケンスに向けて生成を操る。 しかし、これらの手法はこれまでのところ、ヒューリスティックな動機付けと分析の不十分さに過ぎなかった。 本研究では,完全系列で訓練された報酬モデルが,部分列のスコアリングと互換性がないことを示す。 この問題を緩和するために、部分列のBradley-Terry報酬モデルを明示的に訓練し、復号時における暗黙的なポリシーから自己回帰的にサンプルする提案を行う。 我々は、この報酬モデルの性質と結果の政策について検討し、この政策が2つの異なるRLHF政策の比率に比例していることを示す。 我々の単純なアプローチは従来のRGTG法よりも優れており、大規模LLM微調整を伴わずに、強いオフラインベースラインと同様に動作する。

関連論文リスト

• Towards Cost-Effective Reward Guided Text Generation [27.11836864643437]
  Reward-guided Text Generation (RGTG) は、人間のフィードバックからオフラインで強化学習を行うための代替手段として登場した。 本稿では、Bradley-Terry損失を用いてトレーニングされた新たな報酬モデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-06T21:36:44Z)
• Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model [96.20350225621813]
  人間からのフィードバックからの強化学習(RLHF)は、言語モデル(LM)を人間の好みに合わせるために広く採用されている。 本稿では,セグメントレベルの報酬モデルを用いて,学習と活用の両面での優位性を追求する。
  論文  参考訳（メタデータ） (2025-01-06T06:17:56Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)
• Optimal Design for Reward Modeling in RLHF [83.3614658277817]
  我々は,人間からの強化学習における報酬訓練モデルを定式化する。 有効なデータセットの選択は、単純な後悔の最小化タスクとしてフレーム化します。 適切な前提の下では、単純な後悔に縛られる。
  論文  参考訳（メタデータ） (2024-10-22T14:36:44Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)
• Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。 その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。 本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:02:10Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Nash Learning from Human Feedback [86.09617990412941]
  ペアワイズフィードバックを用いた大規模言語モデルの微調整のための代替パイプラインを提案する。 我々はこのアプローチを人間のフィードバックからナッシュラーニング(NLHF)と呼ぶ。 ミラー降下原理に基づく新しいアルゴリズム解であるNash-MDを提案する。
  論文  参考訳（メタデータ） (2023-12-01T19:26:23Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。