論文の概要: Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining

• arxiv url: http://arxiv.org/abs/2504.07912v2
• Date: Thu, 07 Aug 2025 23:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 14:17:29.281466
• Title: Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining
• Title（参考訳）: Echo Chamber: RLポストトレーニングは事前トレーニングで学んだ振る舞いを増幅する
• Authors: Rosie Zhao, Alexandru Meterez, Sham Kakade, Cengiz Pehlevan, Samy Jelassi, Eran Malach,
• Abstract要約: 強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
• 参考スコア（独自算出の注目度）: 74.83412846804977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL)-based fine-tuning has become a crucial step in post-training language models for advanced mathematical reasoning and coding. Following the success of frontier reasoning models, recent work has demonstrated that RL fine-tuning consistently improves performance, even in smaller-scale models; however, the underlying mechanisms driving these improvements are not well-understood. Understanding the effects of RL fine-tuning requires disentangling its interaction with pretraining data composition, hyperparameters, and model scale, but such problems are exacerbated by the lack of transparency regarding the training data used in many existing models. In this work, we present a systematic end-to-end study of RL fine-tuning for mathematical reasoning by training models entirely from scratch on different mixtures of fully open datasets. We investigate the effects of various RL fine-tuning algorithms (PPO, GRPO, and Expert Iteration) across models of different scales. Our study reveals that RL algorithms consistently converge towards a dominant output distribution, amplifying patterns in the pretraining data. We also find that models of different scales trained on the same data mixture will converge to distinct output distributions, suggesting that there are scale-dependent biases in model generalization. Moreover, we find that RL post-training on simpler questions can lead to performance gains on harder ones, indicating that certain reasoning capabilities generalize across tasks. Our findings show that small-scale proxies in controlled settings can elicit interesting insights regarding the role of RL in shaping language model behavior.
• Abstract（参考訳）: 強化学習(RL)に基づく微調整は、高度な数学的推論とコーディングのための後学習言語モデルにおいて重要なステップとなっている。 フロンティア推論モデルの成功に続いて、最近の研究により、RLファインチューニングは小型モデルでも一貫して性能を改善することが示されているが、これらの改善を導く基盤となるメカニズムは十分に理解されていない。 RLファインチューニングの効果を理解するには、事前学習データ構成、ハイパーパラメータ、モデルスケールとの相互作用を解消する必要があるが、既存のモデルで使用されているトレーニングデータに関する透明性の欠如により、そのような問題が悪化する。 本研究では、完全にオープンなデータセットの異なる混合に対して、完全にスクラッチからトレーニングモデルによる数学的推論のためのRLファインタニングの体系的なエンドツーエンドの研究を示す。 各種RL微調整アルゴリズム (PPO, GRPO, Expert Iteration) の効果について検討した。 本研究では,RLアルゴリズムが支配的な出力分布へ連続的に収束し,事前学習データのパターンを増幅することを明らかにする。 また、同じデータ混合で訓練された異なるスケールのモデルは、異なる出力分布に収束し、モデル一般化にスケール依存バイアスが存在することを示唆する。 さらに、より単純な質問に対するRLポストトレーニングは、より難しい質問に対するパフォーマンス向上につながる可能性があり、タスク全体にわたって特定の推論能力が一般化されることが示される。 その結果,制御された環境下での小規模プロキシは,言語モデル形成におけるRLの役割に関する興味深い洞察を引き出すことができることがわかった。

関連論文リスト

• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals [32.59586077266883]
  大規模言語モデル(LLM)のためのRFTパラダイムは、均一なデータサンプリングの下で同じクエリが冗長に露出するため、効率が悪い。 グラディエント駆動型アングルインフォームドナビゲーションRLフレームワークを提案する。 モデル固有の角度集中信号を利用することで、GAIN-RLは各エポックにおけるトレーニングデータを動的に選択し、一貫したインパクトのある勾配更新を確実にする。
  論文  参考訳（メタデータ） (2025-06-02T21:40:38Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• Scaling Offline RL via Efficient and Expressive Shortcut Models [13.050231036248338]
  ノイズサンプリングプロセスの反復性のため, オフライン強化学習(RL)は依然として困難である。 本稿では、ショートカットモデルを利用してトレーニングと推論の両方をスケールする新しいオフラインRLアルゴリズムであるScalable Offline Reinforcement Learning (SORL)を紹介する。 我々は、SORLがオフラインのRLタスクにまたがって高い性能を達成し、テスト時間計算の増大とともに正のスケーリング挙動を示すことを示した。
  論文  参考訳（メタデータ） (2025-05-28T20:59:22Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [24.46625106928253]
  強化微調整(Reinforcement fine-tuning, RFT)は、大規模言語モデル(LLM)の推論能力を高めるための強力なポストトレーニング手法として登場した。 LLM は RFT に非常に矛盾しない応答が可能である。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Does RLHF Scale? Exploring the Impacts From Data, Model, and Method [83.53178716807776]
  本研究では,大規模言語モデルにおける人間のフィードバックからの強化学習のスケーリング特性について検討する。 RLHFフレームワークの主要なコンポーネント、モデルサイズ、データ構成、推論予算、およびそれらのパフォーマンスへの影響を分析します。
  論文  参考訳（メタデータ） (2024-12-08T17:19:48Z)
• The Surprising Ineffectiveness of Pre-Trained Visual Representations for Model-Based Reinforcement Learning [8.36595587335589]
  視覚強化学習法は、しばしば大量のデータを必要とする。 モデルベースRL(MBRL)は、プランニングによる効率的なデータ利用の潜在的なソリューションを提供する。 MBRLには現実世界のタスクの一般化機能が欠けている。
  論文  参考訳（メタデータ） (2024-11-15T13:21:26Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)
• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Machine Learning vs Deep Learning: The Generalization Problem [0.0]
  本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。 本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。 その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T21:42:55Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning [45.73223325256312]
  最新のモデルベースRLアルゴリズムで学習した内部モデルが、新しい明らかに異なるタスクを高速に解くために活用できるかどうかを考察する。 我々は,学習世界のモデルのスケーラブルな事前学習と微調整が可能な,サンプル効率の高いオンラインRLのためのフレームワークであるModel-Based Cross-Task Transfer (XTRA)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:06Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。