論文の概要: On Predictability of Reinforcement Learning Dynamics for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.00553v2
• Date: Thu, 02 Oct 2025 15:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.409422
• Title: On Predictability of Reinforcement Learning Dynamics for Large Language Models
• Title（参考訳）: 大規模言語モデルにおける強化学習ダイナミクスの予測可能性について
• Authors: Yuchen Cai, Ding Cao, Xin Xu, Zijun Yao, Yuqing Huang, Zhenyu Tan, Benyi Zhang, Guiquan Liu, Junfeng Fang,
• Abstract要約: 本研究は,大言語モデルにおけるRLによるパラメータ更新の2つの基本特性を同定する。 短期早期訓練ウィンドウを用いて最終パラメータ更新を補間するプラグインアクセラレーションフレームワークであるAlphaRLを提案する。
• 参考スコア（独自算出の注目度）: 20.320268628019047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in reasoning capabilities of large language models (LLMs) are largely driven by reinforcement learning (RL), yet the underlying parameter dynamics during RL training remain poorly understood. This work identifies two fundamental properties of RL-induced parameter updates in LLMs: (1) Rank-1 Dominance, where the top singular subspace of the parameter update matrix nearly fully determines reasoning improvements, recovering over 99\% of performance gains; and (2) Rank-1 Linear Dynamics, where this dominant subspace evolves linearly throughout training, enabling accurate prediction from early checkpoints. Extensive experiments across 8 LLMs and 7 algorithms validate the generalizability of these properties. More importantly, based on these findings, we propose AlphaRL, a plug-in acceleration framework that extrapolates the final parameter update using a short early training window, achieving up to 2.5 speedup while retaining \textgreater 96\% of reasoning performance without extra modules or hyperparameter tuning. This positions our finding as a versatile and practical tool for large-scale RL, opening a path toward principled, interpretable, and efficient training paradigm for LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力の最近の進歩は、強化学習(RL)によって大きく左右されるが、RLトレーニングの根底にあるパラメータのダイナミクスはよく分かっていない。 1) パラメータ更新行列の上位特異部分空間が推論の改善をほぼ完全に決定し、99 %以上の性能向上を回復するRランク-1 線形ダイナミクス、(2) この支配的部分空間がトレーニングを通して線形に進化し、早期チェックポイントからの正確な予測を可能にするRランク-1 線形ダイナミクス。 8つのLLMと7つのアルゴリズムにわたる大規模な実験は、これらの特性の一般化性を検証する。 さらに,これらの知見に基づいて,短期早期学習ウィンドウを用いて最終パラメータ更新を補足するプラグインアクセラレーションフレームワークであるAlphaRLを提案する。 これにより、大規模RLのための汎用的で実用的なツールとして、LLMの原則、解釈可能、効率的なトレーニングパラダイムへの道を開くことができる。

関連論文リスト

• Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs [21.242959630751663]
  本研究では,強化学習が従来よりもパラメータ効率が高いことを示す。 実験により、よりメモリ効率のよいSGDが一致し、LLMのRLにおいてAdamWより優れることが示された。
  論文  参考訳（メタデータ） (2026-02-07T23:25:26Z)
• Learning Dynamics in RL Post-Training for Language Models [2.538209532048867]
  我々は、教師あり学習において研究されてきたが、RLでは未探索である視点から、RLポストトレーニングの学習ダイナミクスを分析した。 特徴表現の変動性に制限があることから,RL更新がモデル信頼性を体系的に向上させる可能性が示唆された。 これらの知見に感化されて、簡単な2段階学習戦略である分類器第一強化学習(CF-RL)を提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:32:15Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning [16.095629872564874]
  強化学習はおそらく最も顕著な微調整法である。 進化戦略(ES)はかつて、数百万のパラメータを持つモデルでRLに匹敵する性能を示した。 ESは数十億のパラメータを効率的に探索し、既存のRLファインチューニング手法より優れている。
  論文  参考訳（メタデータ） (2025-09-29T07:19:34Z)
• Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs [13.036236161537147]
  大規模言語モデル(LLM)は、大規模な事前学習を通じて広範囲の事前知識を取得し、教師付き微調整(SFT)や強化学習(RL)ベースの後訓練によってさらに強化することができる。 RL微細調整は、SFT単独で達成した以上のLLMの能力を向上することを示す証拠が増えている。 しかし、RL微調整が固有の特性の異なる様々なLLMの能力を高めるメカニズムは未解明のままである。
  論文  参考訳（メタデータ） (2025-09-25T11:51:05Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [53.239242017802056]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Reinforcement Learning Finetunes Small Subnetworks in Large Language Models [27.55599230411277]
  強化学習(Reinforcement Learning, RL)は、大規模な言語モデルにおいて、タスクのパフォーマンスと人間の価値との整合性を大幅に向上させる。 驚くべきことに、このような大きな利益は、パラメータの5%から30%の小さなサブネットワークだけを更新することによるものです。 本稿では,この現象をRLにより引き起こされるパラメータ更新時空間性と呼ぶ。
  論文  参考訳（メタデータ） (2025-05-16T21:42:28Z)
• Model Extrapolation Expedites Alignment [135.12769233630362]
  本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。 我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。