論文の概要: Adaptive Dense Reward: Understanding the Gap Between Action and Reward Space in Alignment

• arxiv url: http://arxiv.org/abs/2411.00809v1
• Date: Wed, 23 Oct 2024 16:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 12:02:11.731266
• Title: Adaptive Dense Reward: Understanding the Gap Between Action and Reward Space in Alignment
• Title（参考訳）: アダプティブ・センス・リワード:アライメントにおけるアクションとリワード空間のギャップを理解する
• Authors: Yanshi Li, Shaopan Xiong, Gengru Chen, Xiaoyang Li, Yijia Luo, Xingyao Zhang, Yanhui Huang, Xingyuan Bu, Yingshui Tan, Chun Yuan, Jiamang Wang, Wenbo Su, Bo Zheng,
• Abstract要約: Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるのに非常に効果的であることが証明されている。 この制限は、RLHFが特定のトークンを強化または抑制すべきかどうかについての認識の欠如に起因している。 本稿では,様々なタスクに頑健に適用可能な適応的メッセージワイドRLHF'法を提案する。
• 参考スコア（独自算出の注目度）: 33.5805074836187
• License:
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has proven highly effective in aligning Large Language Models (LLMs) with human preferences. However, the original RLHF typically optimizes under an overall reward, which can lead to a suboptimal learning process. This limitation stems from RLHF's lack of awareness regarding which specific tokens should be reinforced or suppressed. Moreover, conflicts in supervision can arise, for instance, when a chosen response includes erroneous tokens, while a rejected response contains accurate elements. To rectify these shortcomings, increasing dense reward methods, such as step-wise and token-wise RLHF, have been proposed. However, these existing methods are limited to specific tasks (like mathematics). In this paper, we propose the ``Adaptive Message-wise RLHF'' method, which robustly applies to various tasks. By defining pivot tokens as key indicators, our approach adaptively identifies essential information and converts sample-level supervision into fine-grained, subsequence-level supervision. This aligns the density of rewards and action spaces more closely with the information density of the input. Experiments demonstrate that our method can be integrated into various training methods, significantly mitigating hallucinations and catastrophic forgetting problems while outperforming other methods on multiple evaluation metrics. Our method improves the success rate on adversarial samples by 10\% compared to the sample-wise approach and achieves a 1.3\% improvement on evaluation benchmarks such as MMLU, GSM8K, and HumanEval et al.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるのに非常に効果的であることが証明されている。 しかしながら、オリジナルのRLHFは通常、全体的な報酬の下で最適化されるため、準最適学習プロセスにつながる可能性がある。 この制限は、RLHFが特定のトークンを強化または抑制すべきかどうかについての認識の欠如に起因している。 さらに、例えば、選択された応答が誤ってトークンを含む場合や、拒否された応答が正確な要素を含む場合など、監督上の衝突が発生する可能性がある。 これらの欠点を是正するために、ステップワイズやトークンワイズRLHFといった高密度報酬法が提案されている。 しかし、これらの既存の手法は(数学のような)特定のタスクに限定されている。 本稿では,様々なタスクに頑健に適用可能な '<Adaptive Message-wise RLHF'' 手法を提案する。 ピボットトークンをキーインジケータとして定義することにより、本質的な情報を適応的に識別し、サンプルレベルのインジケータをきめ細かなサブシーケンスレベルのインジケータに変換する。 これにより、報酬と行動空間の密度は入力の情報密度とより密接に一致する。 実験により,本手法を様々な訓練手法に統合し,幻覚と破滅的忘れの問題を大幅に軽減し,複数の評価指標において他の方法よりも優れることを示した。 本手法は, MMLU, GSM8KおよびHumanEvalなどの評価ベンチマークにおいて, サンプルワイドアプローチと比較して10倍の精度向上を実現し, 1.3倍の精度向上を実現している。

関連論文リスト

• Provably Efficient RLHF Pipeline: A Unified View from Contextual Bandits [59.30310692855397]
  本稿では,RLHFパイプラインをコンテキスト的帯域幅の観点から統一したフレームワークを提案する。 RLHFプロセスは、(ポスト-)トレーニングとデプロイメントの2つのステージに分解します。 次に,各ステージごとに新しいアルゴリズムを開発し,統計的および計算効率の両面で有意な改善を示す。
  論文  参考訳（メタデータ） (2025-02-11T02:36:01Z)
• MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions [46.608747360764035]
  人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデル(LLM)と人間の嗜好の整合性を示す。 トークンのシーケンスや高レベルの言語構造を含むマクロアクションを学習プロセスに組み込んだ,シンプルで効果的なRLHFフレームワークであるMA-RLHFを提案する。
  論文  参考訳（メタデータ） (2024-10-03T17:55:13Z)
• Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback [8.601283886845664]
  人間のフィードバック(RLHF)からの強化学習は、大規模言語モデル(LLM)と人間の意図と価値を一致させる。 その効果と人気にもかかわらず、RLHFは局所最適化に偏っている。 本稿では,新しいテキストシーケンス・ツー・シーケンス(seq2seq)報酬モデリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:14:35Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Post-Training Overfitting Mitigation in DNN Classifiers [31.513866929577336]
  学習後MMベースの正規化は,クラス不均衡やオーバートレーニングによる非マチュラスなオーバーフィッティングを著しく軽減することを示す。 攻撃に対する弾力性はあるが、クリーン(無攻撃)な一般化を損なう敵の訓練とは異なり、敵の学習に起因したアプローチを実証する。
  論文  参考訳（メタデータ） (2023-09-28T20:16:24Z)
• Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
  本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。 提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。 多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-27T15:18:54Z)
• Expeditious Saliency-guided Mix-up through Random Gradient Thresholding [89.59134648542042]
  混合学習アプローチはディープニューラルネットワークの一般化能力向上に有効であることが証明されている。 本稿では,両経路の分岐点に位置する新しい手法を提案する。 我々はR-Mixという手法を「Random Mix-up」という概念にちなむ。 より良い意思決定プロトコルが存在するかどうかという問題に対処するために、我々は、ミックスアップポリシーを決定する強化学習エージェントを訓練する。
  論文  参考訳（メタデータ） (2022-12-09T14:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。