論文の概要: Scalable Ensembling For Mitigating Reward Overoptimisation

• arxiv url: http://arxiv.org/abs/2406.01013v1
• Date: Mon, 3 Jun 2024 05:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 02:27:34.775220
• Title: Scalable Ensembling For Mitigating Reward Overoptimisation
• Title（参考訳）: Rewardの過度な最適化を緩和するためのスケーラブルな実装
• Authors: Ahmed M. Ahmed, Rafael Rafailov, Stepan Sharkov, Xuechen Li, Sanmi Koyejo,
• Abstract要約: ヒューマンフィードバックからの強化学習は、強力な命令追従モデルのための言語モデリングにおける大幅な進歩を可能にした。 ポリシーが学習したプロキシ"報酬モデルに過度に適合する傾向にあるため、これらのモデルの整合性は依然として急進的な課題である。 共有エンコーダを用いるが、線形ヘッドを分離する。この目的のために、共有エンコーダを用いるが、線形ヘッドを分離する方式を提案する。
• 参考スコア（独自算出の注目度）: 24.58937616758007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has enabled significant advancements within language modeling for powerful, instruction-following models. However, the alignment of these models remains a pressing challenge as the policy tends to overfit the learned ``proxy" reward model past an inflection point of utility as measured by a ``gold" reward model that is more performant -- a phenomenon known as \textit{over-optimization}. Prior work has mitigated this issue by computing a pessimistic statistic over an ensemble of reward models, which is common in Offline Reinforcement Learning but incredibly costly for language models with high memory requirements, making such approaches infeasible for sufficiently large models. To this end, we propose using a shared encoder but separate linear heads. We find this leads to similar performance as the full ensemble while allowing tremendous savings in memory and time required for training for models of similar size. \end{abstract}
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF)は、強力な命令追従モデルのための言語モデリングにおける大幅な進歩を可能にした。 しかしながら、これらのモデルのアライメントは、よりパフォーマンスの高い ` `gold" 報酬モデルによって測定された、学習した ``proxy' 報酬モデルに過度に適合する傾向にあり、これは 'textit{over-optimization} として知られる現象である。 オフライン強化学習では一般的だが、高いメモリ要求の言語モデルでは信じられないほどコストがかかるため、十分に大きなモデルではそのようなアプローチは実現できない。 この目的のために、共有エンコーダを用いるが、分離された線形ヘッドを提案する。 これは完全なアンサンブルと同じようなパフォーマンスをもたらしながら、同じサイズのモデルのトレーニングに必要なメモリと時間の大幅な節約を可能にします。 \end{abstract}

関連論文リスト

• Effects of Scale on Language Model Robustness [7.725206196110384]
  逆向きに訓練された大規模モデルは、より小さなモデルと比較して、訓練中に見えないような攻撃に対して、より速く、より良く一般化できることが示される。 また、計算量の増加による悪用/防御のバランスを分析し、ある設定で同等性を見つけ、他の設定で悪用する利点を見つけます。
  論文  参考訳（メタデータ） (2024-07-25T17:26:41Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Multi-timestep models for Model-based Reinforcement Learning [10.940666275830052]
  モデルベース強化学習(MBRL)では、ほとんどのアルゴリズムはデータに基づいて学習した1ステップのダイナミックスモデルからの軌道のシミュレーションに依存している。 我々は、マルチステップの目標を用いてワンステップモデルをトレーニングすることでこの問題に対処する。 指数関数的に減衰する重みは、長い水平R2スコアを著しく改善するモデルに繋がることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T12:42:39Z)
• Revisiting Implicit Models: Sparsity Trade-offs Capability in Weight-tied Model for Vision Tasks [4.872984658007499]
  ディープ平衡モデル(Deep Equilibrium Models, DEQ)のような暗黙のモデルは、無限層のモデルを訓練する能力によって、コミュニティにおいて大きな注目を集めている。 暗黙のモデルの行を再検討し、それらを元の重み付けモデルに遡る。 驚くべきことに、重み付けモデルの方がDECの変種と比較して、より効率的で、安定であり、視覚タスク上でも効率的である。
  論文  参考訳（メタデータ） (2023-07-16T11:45:35Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)
• Modeling Survival in model-based Reinforcement Learning [0.0]
  この研究は、エージェントの目的が生き残ることの事例を議論することで生存の概念を提示する。 端末状態を避けることを学ぶ報奨関数近似の代用モデルを導入する。 終端状態に注目することは、少数の状態空間として、トレーニングの労力を大幅に削減する。
  論文  参考訳（メタデータ） (2020-04-18T15:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。