論文の概要: Growing and Transferring Pathways for LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16489v1
• Date: Mon, 12 Oct 2026 09:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.347226
• Title: Growing and Transferring Pathways for LLM Reinforcement Learning
• Title（参考訳）: LLM強化学習のための成長・伝達経路
• Abstract要約: 構造的成長を通じて,学習した更新をコンパクトな計算経路に整理するRL法であるGrowRLを提案する。 GrowRLはトレーニング済みのバックボーンを凍結し、トランスフォーマー層に独立した因果注意ブランチとフィードフォワードネットワークブランチを追加する。 実験では、少数の訓練可能なパラメータで、競争力のある数学的推論とアウト・オブ・ディストリビューション性能を示す。
• 参考スコア（独自算出の注目度）: 7.704404528122659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) can substantially improve the reasoning capabilities of large language models, but an effective training run requires considerable resources. Reusing the computation acquired through RL across models would extend the value of that training. We propose GrowRL, an RL method that organizes learned updates into compact computational pathways through structural growth. GrowRL freezes the pretrained backbone and adds an independent causal attention branch and a feed-forward network branch at each Transformer layer. Zero-initialized output projections preserve the pretrained policy at initialization, and RL updates only the added pathways. The learned pathways remain explicit after training, allowing transfer to structurally compatible target models and subsequent adaptation with the target backbone frozen. The architecture also supports sequential transfer of additional pathways. By keeping the learned attention and feed-forward computation separate from the pretrained weights, GrowRL provides an explicit structure for preserving and reusing the outcome of an RL run. Experiments across five backbones show competitive mathematical reasoning and out-of-distribution performance with a small number of trainable parameters. Learned pathways provide immediate gains across all three transfer directions, with performance after only 10 target-side updates already close to that after 100 updates in every case. These results support computational pathways as parameter-efficient and reusable units of reinforcement learning adaptation.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデルの推論能力を大幅に向上させるが、効果的なトレーニングの実行にはかなりのリソースが必要である。 モデル間でRLで取得した計算を再利用すれば、そのトレーニングの価値が拡張される。 構造的成長を通じて,学習した更新をコンパクトな計算経路に整理するRL法であるGrowRLを提案する。 GrowRLはトレーニング済みのバックボーンを凍結し、トランスフォーマー層に独立した因果注意ブランチとフィードフォワードネットワークブランチを追加する。 ゼロ初期化出力プロジェクションは初期化時に事前訓練されたポリシーを保持し、RLは付加された経路のみを更新する。 学習経路はトレーニング後も明確であり、構造的に互換性のあるターゲットモデルに移行し、その後、ターゲットのバックボーンへの適応が凍結される。 このアーキテクチャは、追加の経路のシーケンシャル転送もサポートする。 学習した注意とフィードフォワード計算を事前訓練された重みから切り離すことで、GrowRLはRLの実行結果の保存と再利用のための明示的な構造を提供する。 5つのバックボーンにまたがる実験は、少数のトレーニング可能なパラメータで、競争力のある数学的推論とアウト・オブ・ディストリビューション性能を示す。 学習された経路は、3つの転送方向すべてで即時ゲインを提供し、各ケースで100回の更新後にすでに10回のターゲット側の更新が完了した後にパフォーマンスが向上する。 これらの結果は、強化学習適応のパラメータ効率と再利用可能な単位として計算経路を支持する。

関連論文リスト

• The Low-Rank Structure of VLA Reinforcement Learning [12.712140357467346]
  強化学習(Reinforcement Learning, RL)は、視覚-言語-行動モデル(VLA)の訓練後モデルに使用される。 本稿では,パラメータ空間における学習信号のエンコード方法を検討することによって,RLがVLAポリシーにどう影響するかを検討する。
  論文  参考訳（メタデータ） (2026-09-28T08:32:26Z)
• What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track [4.624097215050827]
  このフレームワークは、ベースモデルとすべてのRLチェックポイントにまたがるアクティベーションに基づいて、レイヤ毎の共有SAEをトレーニングする。 RLにより引き起こされるドリフトは小さく, 段階的, 概念的であり, 後期層に集中しており, 小セットのラダートークンのサンプリング率の向上が主である。
  論文  参考訳（メタデータ） (2026-09-14T05:29:45Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning? [76.288870982181]
  タンパク質言語モデル(PLM)は、大規模事前学習と拡張性のあるアーキテクチャを通じて高度な計算タンパク質科学を持つ。 強化学習(RL)は探索を拡大し、タンパク質設計における正確な多目的最適化を可能にした。 RLはサンプリング効率を向上し,さらに重要な点として,教師あり学習で捉えない能力を明らかにするかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-02T01:31:10Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。