論文の概要: ISO: An RLVR-Native Optimization Stack
- arxiv url: http://arxiv.org/abs/2607.19331v1
- Date: Tue, 21 Jul 2026 17:51:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.521353
- Title: ISO: An RLVR-Native Optimization Stack
- Title（参考訳）: ISO: RLVR-Native Optimization Stack
- Abstract要約: アイソスペクトル最適化(ISO)としてスペクトル継承を運用する
オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。
オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
- 参考スコア（独自算出の注目度）: 50.40395312897848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) is rapidly advancing the reasoning capabilities of language models, yet the optimization layer that converts reward feedback into weight-space updates remains poorly understood. Building on our prior analysis (Zhu et al., 2025), we study this missing layer through the singular structure of model weights and identify spectral inheritance: RLVR can reuse the base model's weight spectra while acquiring new behavior through changes in the associated input and output singular frames. We operationalize spectral inheritance as Isospectral Optimization (ISO), an RLVR-native, fixed-spectrum optimization framework with complementary offline and online instantiations. Offline, ISO-Merger combines the frame changes of shared-base specialists into a single fixed-spectrum model, requiring no post-merge data, rollouts, gradient updates, or on-policy distillation (OPD). It recovers complementary specialist capabilities and achieves the strongest aggregate performance among the compared data-free merging methods. Online, ISO-Optimizer applies a chosen base optimizer, including AdamW and Muon, to the frame variables while keeping the base spectra fixed. Across reasoning and coding tasks ranging from 1.5B to 8B parameters, ISO-Optimizer improves accuracy in the reported runs and reaches matched scores with substantially fewer training steps. On Qwen3-8B-Base, AdamW reaches an aggregate accuracy of 0.495 after 270 training steps. ISO-AdamW reaches the same accuracy after only 100 training steps and improves further to 0.509 after 210 training steps. Together, ISO offers a concrete answer to RLVR's missing optimization layer: rather than inheriting pre-training optimization wholesale, design post-training around the structure of reward-driven adaptation: inherit the spectrum, optimize the frames.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、言語モデルの推論能力を急速に向上させているが、報酬フィードバックを重み空間更新に変換する最適化層は、いまだに理解されていない。
我々の先行分析(Zhu et al , 2025)に基づいて、モデル重みの特異構造を通してこの欠落層を解析し、スペクトル継承を同定する: RLVRは、関連する入力および出力特異フレームの変化を通じて新しい振る舞いを取得しながら、ベースモデルの重みスペクトルを再利用することができる。
我々は、RLVRネイティブで固定スペクトル最適化フレームワークであるアイソスペクトル最適化(ISO)としてスペクトル継承を運用する。
オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに結合し、マージ後のデータ、ロールアウト、勾配更新、またはオンライン蒸留(OPD)を必要としない。
相補的な専門的能力を回復し、比較したデータフリーマージ手法の中で最強の集約性能を達成する。
オンラインのISO-Optimizerは、AdamWやMuonを含む選択されたベースオプティマイザをフレーム変数に適用し、ベーススペクトルを固定する。
ISO-Optimizerは、1.5Bから8Bパラメータまでの推論およびコーディングタスク全体にわたって、報告された実行時の精度を改善し、ほぼ少ないトレーニングステップでマッチしたスコアに到達する。
Qwen3-8B-Baseでは、AdamWは270回のトレーニングの後に0.495の総合精度に達した。
ISO-AdamWは100のトレーニングステップで同じ精度に達し、210のトレーニングステップで0.509に改善される。
ISOは、RLVRの欠落した最適化層に対して、具体的な答えを提供している: 事前トレーニングの最適化を継承するのではなく、報酬駆動型適応の構造に関する設計後トレーニング:スペクトルを継承し、フレームを最適化する。
関連論文リスト
- Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。
スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。
我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文 参考訳（メタデータ） (2026-04-21T06:27:18Z) - A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay [0.42970700836450487]
本稿では,グループごとの学習率と重み劣化を動的に変調する自己認識機構を統合する新しい変調法を提案する。
注意モジュールのトレーニングには,勾配アライメント,損失減少,ギャップを組み合わせたメタ学習手法を導入する。
重要な新しい貢献は、正則化項を直接スケールするタスク固有の優先順位を持つホモスセダスティック不確実性重み付け(HUW)の拡張である。
論文 参考訳（メタデータ） (2026-04-10T02:56:01Z) - Astrolabe: Steering Forward-Process Reinforcement Learning for Distilled Autoregressive Video Models [58.3184497327891]
蒸留自己回帰(AR)ビデオモデルは、効率的なストリーミング生成を可能にするが、しばしば人間の視覚的嗜好に反する。
蒸留ARモデルに適した効率的なオンライン強化学習フレームワークであるAstrolabeを提案する。
論文 参考訳（メタデータ） (2026-03-17T18:32:18Z) - NOVAK: Unified adaptive optimizer for deep neural networks [0.0]
NOVAKは、適応モーメント推定、修正学習率スケジューリング、デカップリングウェイト正規化、ネステロフ運動量の複数変種、ルックアヘッド同期を統一されたパフォーマンス指向のフレームワークに統合する勾配に基づく最適化アルゴリズムである。
論文 参考訳（メタデータ） (2026-01-11T13:03:57Z) - Machine Learning Algorithms for Improving Black Box Optimization Solvers [4.994218549120224]
Black-box Optimization (BBO) は、コストのかかるクエリによってのみ目的がアクセス可能な問題に対処する。
近年の進歩は機械学習(ML)と強化学習(RL)を用いてBBOを強化している。
論文 参考訳（メタデータ） (2025-09-29T23:28:42Z) - Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
量子化下でのモデルロバスト性に対する選択の影響について検討する。
モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。
異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
論文 参考訳（メタデータ） (2025-09-27T21:15:22Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel
Optimization [34.24884427152513]
双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。
我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。
我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
論文 参考訳（メタデータ） (2023-08-01T09:31:51Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳（メタデータ） (2022-06-16T01:50:25Z) - HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving
Generalization and Quantization Performance [43.478851400266926]
我々は、勾配に基づく学習プロセスを通じて、ヘッセン固有値を最小限に抑えるため、ヘッセンで強化された頑健な最適化手法HEROを提案する。
HEROは試験精度を最大3.8%向上させ、80%のトレーニングラベル摂動で最大30%高い精度を達成し、幅広い精度で最高のトレーニング後の量子化精度を実現する。
論文 参考訳（メタデータ） (2021-11-23T16:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。