論文の概要: LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits

• arxiv url: http://arxiv.org/abs/2410.01735v2
• Date: Wed, 09 Jul 2025 17:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.257051
• Title: LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits
• Title（参考訳）: LASeR:マルチアーマッドバンドを用いたリワードモデル選択学習
• Authors: Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal,
• Abstract要約: 本稿では,マルチアームバンディット問題として報酬モデル選択を行うLASeRを提案する。 LASeRは反復トレーニングを促進し、3つのデータセットに対してLlama-3-8Bの平均精度を絶対的に向上することを示す。 また、RAeRはRMスコアアンサンブルベースラインよりも72.69%のAlpacaEval勝利率を達成していることを示す。
• 参考スコア（独自算出の注目度）: 56.93583799109029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward Models (RMs) are crucial to aligning large language models (LLMs), but the degree to which an RM specialized to one task (e.g. writing) generalizes to new tasks (e.g. math) is often not known a priori, often making using only one fixed RM to train LLMs suboptimal. However, optimizing LLMs with multiple RMs simultaneously can incur a prohibitively high computational cost and lead to conflicting signals from different RMs that may degrade performance. To address these challenges, we introduce LASeR (Learning to Adaptively Select Rewards), which frames reward model selection as a multi-armed bandit problem, efficiently and iteratively training LLMs using multiple RMs by selecting the most well-suited RM for each instance. On commonsense and math reasoning tasks, we show that LASeR boosts iterative LLM training, improving the absolute average accuracy of Llama-3-8B over three datasets by 2.67% over an ensemble of RM scores while also showing superior efficiency (e.g., a 2x speedup). Moreover, on WildChat (open-ended instruction-following tasks), LASeR leads to a 72.69% AlpacaEval win rate over the RM score ensemble baseline. Extending to long-context generation, LASeR improves by 2.96 F1 points (avg.) on single-document QA tasks and 2.97 F1 points on few-shot learning over the RM score ensemble baseline with best-of-n sampling.
• Abstract（参考訳）: Reward Models (RM) は大きな言語モデル (LLM) の整合に不可欠であるが、一つのタスク(例えば文字)に特化されるRMが新しいタスク(例えば数学)に一般化する度合いは、しばしば先行性として知られておらず、1つの固定されたRMのみを使用してLLMの準最適性を訓練する。 しかし、複数のRMを同時に最適化することで、計算コストが著しく高くなり、性能が低下する可能性のある異なるRMからの信号が競合する可能性がある。 これらの課題に対処するため, LASeR (Learning to Adaptively Select Rewards) を導入し, 報奨モデル選択をマルチアームバンディット問題とみなし, それぞれのインスタンスに最も適したRMを選択して, 複数RMを用いてLLMを効率よく反復的に訓練する。 コモンセンスと数学の推論タスクでは、LASeRは反復LDMトレーニングを加速し、3つのデータセットに対してLlama-3-8Bの絶対平均精度を2.67%向上し、RMスコアのアンサンブルよりも優れた効率(例えば2倍のスピードアップ)を示す。 さらにWildChatでは、LASeRはRMスコアアンサンブルベースラインよりも72.69%のAlpacaEval勝利率を達成している。 長文生成の拡張により、単一文書QAタスクでは2.96F1ポイント(前述)、RMスコアアンサンブルベースラインでは2.97F1ポイント、ベスト・オブ・nサンプリングでは2.97F1ポイントが向上した。

関連論文リスト

• SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks [110.20297293596005]
  大規模言語モデル(LLM)エージェントは、実世界のタスクでマルチターンインタラクションを実行する必要がある。 LLMエージェントを最適化するための既存のマルチターンRLアルゴリズムは、LLMの一般化能力を活用しながら、複数回にわたって効果的なクレジット割り当てを行うことができない。 本稿では,新たなRLアルゴリズムであるSWEET-RLを提案する。 我々の実験は、SWEET-RLがコルベンチにおける成功率と勝利率を、他の最先端マルチターンRLアルゴリズムと比較して6%向上することを示した。
  論文  参考訳（メタデータ） (2025-03-19T17:55:08Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
  マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。 フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
  論文  参考訳（メタデータ） (2024-10-30T07:53:52Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts [23.27203570485055]
  人からのフィードバックから強化学習(RLHF)が,大規模言語モデルと人間の嗜好を整合させる主要な手法として登場した。 多次元絶対値データを用いて報酬モデル(RM)を訓練するための2段階の手法を提案する。 我々は、Llama-3 8BでArmoRMを効率よく訓練し、ArmoRMの上部の浅い部分からなるゲーティングネットワークを構築した。
  論文  参考訳（メタデータ） (2024-06-18T17:58:28Z)
• DMoERM: Recipes of Mixture-of-Experts for Effective Reward Modeling [0.0]
  我々は、Mixture-of-Experts(MoE)のアイデアを、報酬モデル(RM)トレーニングの分野に導入する。 特定のタスクを複数の機能ディメンションに分解し、それぞれにLoRA専門家を個別に微調整する。 我々のモデルは、人間の嗜好との整合性に優れ、先進的な生成アプローチを実現する。
  論文  参考訳（メタデータ） (2024-03-02T12:31:22Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Confronting Reward Model Overoptimization with Constrained RLHF [114.71591361764547]
  成分RM間の相関がこれらの点の位置に有意な影響を及ぼすことを示す。 ラグランジュ乗算器によって自然に表現される動的重みを学習することで、成分RMの重み付けの問題に対処する。
  論文  参考訳（メタデータ） (2023-10-06T16:59:17Z)
• The Trickle-down Impact of Reward (In-)consistency on RLHF [71.37987812944971]
  報酬の不整合性は、人間のフィードバックプロセスから下流の強化学習に悪影響を及ぼすことを示す。 RMの一貫性のベンチマーク戦略であるContrast Instructionsを提案する。 より一貫したRMでトレーニングしたRLHFモデルにより,より有用な応答が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-28T04:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。