論文の概要: The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Sampling via max@k Optimisation

• arxiv url: http://arxiv.org/abs/2510.23393v1
• Date: Mon, 27 Oct 2025 14:47:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.614035
• Title: The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Sampling via max@k Optimisation
• Title（参考訳）: The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Smpling via max@k Optimisation
• Authors: Farid Bagirov, Mikhail Arkhipov, Ksenia Sycheva, Evgeniy Glukhov, Egor Bogomolov,
• Abstract要約: 我々は、pass@kの連続的な一般化であるmax@kメトリックの最適化に注力する。 我々は、現在のRLVRアルゴリズムで一般的な要素であるオフ・ポリティクス・アップデートへの導出を拡張し、より優れたサンプル効率を実現する。
• 参考スコア（独自算出の注目度）: 2.5960620227199342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of Reinforcement Learning with Verifiable Rewards (RLVR) to mathematical and coding domains has demonstrated significant improvements in the reasoning and problem-solving abilities of Large Language Models. Despite its success in single generation problem solving, the reinforcement learning fine-tuning process may harm the model's exploration ability, as reflected in decreased diversity of generations and a resulting degradation of performance during Best-of-N sampling for large N values. In this work, we focus on optimizing the max@k metric, a continuous generalization of pass@k. We derive an unbiased on-policy gradient estimate for direct optimization of this metric. Furthermore, we extend our derivations to the off-policy updates, a common element in modern RLVR algorithms, that allows better sample efficiency. Empirically, we show that our objective effectively optimizes max@k metric in off-policy scenarios, aligning the model with the Best-of-N inference strategy.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) の数学的およびコーディング領域への応用は、大規模言語モデルの推論能力と問題解決能力において著しく改善されている。 単世代問題解決に成功しているにもかかわらず、強化学習の微調整プロセスは、世代間の多様性の低下と大きなN値に対するBest-of-Nサンプリング時の性能低下を反映して、モデルの探索能力を損なう可能性がある。 本稿では、pass@kの連続的な一般化であるmax@kメトリックの最適化に焦点を当てる。 我々は、この計量の直接最適化のために、非バイアスのオン・ポリシー勾配推定を導出する。 さらに、現在のRLVRアルゴリズムの共通要素であるオフ・ポリティクス・アップデートへの導出を拡大し、より優れたサンプリング効率を実現する。 実証的に、我々の目的は、Off-policyシナリオにおけるmax@kメトリックを効果的に最適化し、モデルとBest-of-N推論戦略の整合性を示す。

関連論文リスト

• Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
  ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
  論文  参考訳（メタデータ） (2025-07-16T13:33:31Z)
• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• RL-finetuning LLMs from on- and off-policy data with a single algorithm [53.70731390624718]
  大規模言語モデルを微調整するための新しい強化学習アルゴリズム(AGRO)を提案する。 AGROは生成整合性の概念を利用しており、最適ポリシーはモデルの任意の世代間での整合性の概念を満たすと述べている。 サンプルベースの政策勾配による最適解を求めるアルゴリズムを導出し,その収束に関する理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-03-25T12:52:38Z)
• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [16.10753846850319]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。