論文の概要: Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.16533v1
• Date: Mon, 12 Oct 2026 10:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:41:41.703538
• Title: Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 大規模言語モデル強化学習のためのスペクトル駆動型適応言語最適化法
• Abstract要約: RLVR(Reinforcement Learning with rewards)は、大規模言語モデル(LLM)が推論能力を取得する方法を変えようとしている。 RLVRは異なる幾何を要求する異なる最適化幾何を誘導するのか? 我々は、勾配のスペクトルエネルギー分布から効果的な更新ランクを推定し、その進化を追跡し、各更新を低ランク部分空間に駆動する勾配信号を閉じ込めるアレスを導入する。
• 参考スコア（独自算出の注目度）: 96.15300825638985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is reshaping how large language models (LLMs) acquire reasoning capabilities, yet the optimizers used remain largely inherited from teacher-forcing training. This raises a fundamental question: does RLVR induce a distinct optimization geometry that calls for a different optimizer? We investigate this question through the spectral structure of LLM gradients and find that gradient energy progressively concentrates into a shrinking effective subspace, which is characteristic of RLVR, as it is absent under supervised fine-tuning (SFT) and is largely removed when the verifiable reward is replaced by a random one. Moreover, the rank required to capture a fixed fraction of gradient energy steadily decreases over training, revealing that the effective dimensionality of useful updates itself evolves with training. These findings motivate a new optimization principle: rather than prescribing the update rank externally, an optimizer should adapt its rank to the evolving spectral structure of the gradient. We introduce Ares (Adaptive Rank-Effective Spectral Optimization), which estimates the effective update rank from the gradient's spectral energy distribution, tracks its evolution, and confines the gradient signal driving each update to the resulting low-rank subspace. Across LLMs of different scales, Ares improves accuracy over widely used optimizers and generalizes across RLVR algorithms and tasks. Results suggest that effective optimization may require optimizers to be designed around the geometry and dynamics of the training process. We release the code and data at https://github.com/RUCAIBox/Ares.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)が推論能力を取得する方法を変えつつあるが、使用されるオプティマイザは、主に教師の強制訓練から受け継がれている。 RLVRは、異なるオプティマイザを要求する異なる最適化手法を誘導するのか? 本研究では, LLM勾配のスペクトル構造を通してこの問題を考察し, RLVRの特徴である縮小効果部分空間に勾配エネルギーが徐々に集中することを見出した。 さらに、一定の勾配エネルギーを捕獲するために必要なランクは、トレーニングの経過とともに着実に低下し、有用な更新自体の有効次元がトレーニングとともに進化することが明らかとなった。 これらの発見は、新しい最適化の原則を動機付けている: 更新ランクを外部に規定するのではなく、最適化者は、勾配の進化するスペクトル構造にそのランクを適応すべきである。 アレス(Adaptive Rank-Effective Spectral Optimization)を導入し、勾配のスペクトルエネルギー分布から効果的な更新ランクを推定し、その進化を追跡し、結果として生じる低ランク部分空間への更新を駆動する勾配信号を閉じ込める。 異なるスケールのLLM全体で、Alesは広く使われているオプティマイザよりも精度を改善し、RLVRアルゴリズムやタスクをまたいで一般化する。 結果は、効果的な最適化には、トレーニングプロセスの幾何学的、動的に設計する最適化が必要であることを示唆している。 コードとデータはhttps://github.com/RUCAIBox/Ares.orgで公開しています。

関連論文リスト

• ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization [49.998743946324424]
  既存のメソッドは、主にハーネスの更新方法を最適化し、どのトレーニングシナリオがこれらの更新を駆動するフィードバックを生成するかを主に修正する。 ハーネスが進化するにつれて、さらなる最適化に最も有用なシナリオが変更され、トレーニングカリキュラム自体がハーネスに合わせて適応することが示唆される。 自動カリキュラム学習問題として、この欠落次元のハーネス最適化を定式化し、ActiveSaddlerを導入する。
  論文  参考訳（メタデータ） (2026-10-01T01:36:03Z)
• ISO: An RLVR-Native Optimization Stack [50.40395312897848]
  アイソスペクトル最適化(ISO)としてスペクトル継承を運用する オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。 オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
  論文  参考訳（メタデータ） (2026-07-21T17:51:36Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
  Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
  TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。 Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
  論文  参考訳（メタデータ） (2021-09-07T20:19:40Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。