論文の概要: From $f(x)$ and $g(x)$ to $f(g(x))$: LLMs Learn New Skills in RL by Composing Old Ones

• arxiv url: http://arxiv.org/abs/2509.25123v1
• Date: Mon, 29 Sep 2025 17:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.177691
• Title: From $f(x)$ and $g(x)$ to $f(g(x))$: LLMs Learn New Skills in RL by Composing Old Ones
• Title（参考訳）: $f(x)$と$g(x)$から$f(g(x))$: LLMs learn new Skills in RL by Composing Old Ones
• Authors: Lifan Yuan, Weize Chen, Yuchen Zhang, Ganqu Cui, Hanbin Wang, Ziming You, Ning Ding, Zhiyuan Liu, Maosong Sun, Hao Peng,
• Abstract要約: LLMは、既存のスキルを組み込むことで、RL中に真に新しいスキルを身につけることができることを示す。 実験により、ソースタスクで得られた構成スキルが、異なるターゲットタスクに転送されることを示す。 この転送は、ターゲットに対する構成的なトレーニングなしでも行われ、ターゲットの原子スキルに関する事前の知識のみを必要とする。
• 参考スコア（独自算出の注目度）: 68.68686526804909
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.
• Abstract（参考訳）: RLはLLMに本当に新しいスキルを教えるのか、それとも単に既存のスキルを活性化するのか? この問題は、LLMポストトレーニングにおけるRLの役割に関する議論の中心にある。 他方では、RLは既存の推論戦略の再重み付けにはほとんど貢献していないという批判もある。 この研究は、LLMが、人間が新しい認知スキルを獲得する中心的なメカニズムの1つを反映して、既存のスキルを構成することによって、RL中に真に新しいスキルを習得できるという具体的な証拠を提供する。 データ汚染やその他の要因を緩和し、タスクの複雑さを正確に制御できるようにするため、本研究のための総合的な枠組みを構築した。 具体的には、x の文字列変換関数 f(x) の出力を推測する能力としてスキルを定義する。 LLM が RL より先に f と g を学んだとき、我々の実験は RL が h(x)=g(f(x)) の未知の合成を学習できることを示した。 さらに、この構成能力は、RLトレーニング中に見つからない>2関数の合成のようなより難しい問題に一般化する。 意外なことに、我々の実験では、ソースタスクで得られた構成スキルが、異なるターゲットタスクに転送されることが示されている。 この転送は、ターゲットに対する構成的なトレーニングなしでも行われ、ターゲットの原子スキルに関する事前の知識のみを必要とする。 我々の定性的分析は、RLがモデルの推論挙動を根本的に変えることを示している。 対照的に、同じデータによる次の学習では、これらの発見は得られない。 我々の体系的な実験は、LLM学習に新たな洞察を与え、基礎的スキルを持つ最初の構築ベースモデルの価値を示唆し、RLを用いて複雑な問題に対して高度な一般化可能なスキルをインセンティブ化する。

関連論文リスト

• DELTA-Code: How Does RL Unlock and Transfer New Programming Algorithms in LLMs? [92.4931695205957]
  本稿では、学習可能性と伝達可能性という2つの基本的な側面を探索するために設計された合成符号問題ファミリーのベンチマークを紹介する。 実験の結果, ほぼゼロ報酬の期間が延長された後, RL訓練モデルが突然, ほぼ完全な精度に上昇した。 その結果、家族や再考されたスキルに対してしっかりとした利益が得られたが、変革的ケースでは持続的な弱点がみられた。
  論文  参考訳（メタデータ） (2025-09-25T11:20:56Z)
• Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning [52.32193550674408]
  強化学習(RL)による言語モデルの推論能力の向上を目指す。 我々は,LLMが徐々に推論スキルを構築できるように,タスクを簡単から困難(E2H)にスケジュールすることを提案する。 E2H Reasonerは小型LLM(1.5B〜3B)の推論能力を著しく改善する
  論文  参考訳（メタデータ） (2025-06-07T02:41:54Z)
• Decomposing Elements of Problem Solving: What "Math" Does RL Teach? [22.517954679764244]
  私たちは問題解決を、計画、実行、検証という基本的な機能に分解します。 RLを訓練したモデルは、計画スキルが不十分なため、基本的に新しい問題に悩まされ、"カバーウォール"にぶつかっていることを示す。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。
  論文  参考訳（メタデータ） (2025-05-28T18:18:49Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Teaching Large Language Models to Reason with Reinforcement Learning [38.17625148525193]
  人間のフィードバックからの強化学習(textbfRLHF)は、LLM出力と人間の嗜好を整合させる主要なアプローチとして現れている。 RLHFの成功に触発され,フィードバックから学習する複数のアルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T16:36:29Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。