論文の概要: Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

• arxiv url: http://arxiv.org/abs/2607.01232v2
• Date: Thu, 02 Jul 2026 17:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.516185
• Title: Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training
• Title（参考訳）: 1層は十分か? 単一変圧器の訓練は全パラメータRLトレーニングと一致できる
• Authors: Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの訓練後の中心的な構成要素となっている。 変換器層にRLを分散させる方法について検討する。 RLゲインは小さなサブセットに集中しており、多くの場合、1つのトランスフォーマー層でさえも集中している。
• 参考スコア（独自算出の注目度）: 17.723489440201277
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.
• Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) は, 学習後の大規模言語モデル (LLM) の中心的な構成要素となっているが, トランスフォーマー層にまたがるRL適応についてはほとんど理解されていない。 既存のアプローチは通常、すべてのモデルパラメータを一様に更新するが、すべてのレイヤがRL後のトレーニングで得られる利得に類似していると暗黙的に仮定する。 そこで本研究では,RLトレーニングの体系的レイヤワイズ研究を通じて,この仮定に挑戦する。 驚くべきことに、単一のトランス層をトレーニングすることで、フルパラメータRLトレーニングによって得られる利益のほとんどを回復することができる。 この現象を定量化するために,各層を個別にトレーニングすることで得られたRL改善率の分画を測定する量層寄与法を導入する。 2つのモデルファミリ(Qwen3,Qwen2.5),3つのRLアルゴリズム(GRPO,GiGPO,Dr. GRPO),および数理推論,コード生成,エージェント決定を含む複数のタスクドメインにまたがる7つのモデルにわたって,極めて安定したパターンを観察する。 トランススタックの中央に高コントリビューション層が集中するのに対して、入力と出力の端に近い層は、かなり少ない。 結果のレイヤランキングは、データセット、タスク、モデルファミリー、RLアルゴリズム間で強く相関している。

関連論文リスト

• Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models [0.0]
  強化学習(Reinforcement Learning, RL)の微調整では、モデルのパラメータの大部分を更新する必要があると仮定されることが多い。 我々はこの現象をRLにより引き起こされるパラメータ更新空間と呼ぶ。 このスパースサブネットワークのみを微調整することで、完全なモデル性能が回復し、完全に微調整されたモデルとほぼ同じパラメータが得られることを示す。
  論文  参考訳（メタデータ） (2025-07-23T01:02:17Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Scaling Offline RL via Efficient and Expressive Shortcut Models [13.050231036248338]
  ノイズサンプリングプロセスの反復性のため, オフライン強化学習(RL)は依然として困難である。 本稿では、ショートカットモデルを利用してトレーニングと推論の両方をスケールする新しいオフラインRLアルゴリズムであるScalable Offline Reinforcement Learning (SORL)を紹介する。 我々は、SORLがオフラインのRLタスクにまたがって高い性能を達成し、テスト時間計算の増大とともに正のスケーリング挙動を示すことを示した。
  論文  参考訳（メタデータ） (2025-05-28T20:59:22Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。