論文の概要: DecompRL: Solving Harder Problems by Learning Modular Code Generation

• arxiv url: http://arxiv.org/abs/2607.02390v1
• Date: Thu, 02 Jul 2026 16:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.919507
• Title: DecompRL: Solving Harder Problems by Learning Modular Code Generation
• Title（参考訳）: DecompRL: モジュールコード生成を学習して難しい問題を解決する
• Abstract要約: 本稿では,階層型コード構造を明示的に分解・実装するRLアルゴリズムDecompRLを紹介する。 LiveCodeBenchとCodeContestsでは、DecompRLが標準および多様性に最適化されたRLベースラインを、問題毎に105ドルのトークンよりも上回っている。
• 参考スコア（独自算出の注目度）: 27.116622101805984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can Large Language Models (LLMs) solve problems they currently cannot? Repeated sampling scales test-time compute but GPU cost grows linearly with attempts, while reinforcement learning (RL) with verifiable rewards improves single-attempt accuracy at the expense of sample diversity. Both strategies ultimately fail when the base policy has near-zero probability of producing a correct solution: no amount of sampling or gradient signal can overcome a search space that is simply too large. We take a different approach: rather than sampling harder, we make the task easier by decomposing problems into smaller, independently solvable sub-functions whose implementations can be recombined. Since off-the-shelf models are not trained for this modular generation, we introduce DecompRL, an RL algorithm that explicitly learns to decompose and implement hierarchical code structures. Recombining $k$ implementations of $n$ modules yields up to $k^{n}$ candidate solutions, shifting the bottleneck from GPU inference to cheap CPU evaluation and cutting GPU token cost by $\sim$50$\times$. On LiveCodeBench and CodeContests (Qwen~2.5~7B, Code World Model~32B), DecompRL outperforms standard and diversity-optimized RL baselines beyond $10^5$ tokens per problem, solving problems that standard generation cannot reach.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現在できない問題を解決するにはどうすればよいのか? 繰り返しサンプリングは、テスト時間計算をスケールするが、GPUコストは試行錯誤によって線形に増加する。 どちらの戦略も、基本方針が正しい解を生成する確率がゼロに近い場合に失敗する: サンプリングや勾配信号の量は、単に大きすぎる検索空間を克服できない。 我々は、より厳密にサンプリングするのではなく、問題をより小さく、独立に解決可能なサブ関数に分解し、実装を再結合可能なタスクを簡単にする。 オフザシェルフモデルは、このモジュラー生成のために訓練されていないため、階層的なコード構造を分解し実装することを明確に学習するRLアルゴリズムであるDecompRLを導入する。 k$モジュールの$k$実装を再結合すると、最大$k^{n}$候補ソリューションが得られ、ボトルネックをGPU推論から安価なCPU評価にシフトし、GPUトークンコストを$\sim$50$\times$に削減する。 LiveCodeBenchとCodeContests (Qwen~2.5~7B, Code World Model~32B)では、DecompRLが標準および多様性に最適化されたRLベースラインを10^5ドルのトークンを超えて上回り、標準生成が到達できない問題を解決する。

関連論文リスト

• Learning to Solve Hard Problems in RL for LLMs by Never Giving Up [11.62149809697467]
  LLMをRLでトレーニングしても,データセット全体の性能が等しく向上しないことを示す。 本報告では,Never Give Up (NGU) を提案する。
  論文  参考訳（メタデータ） (2026-09-11T19:02:08Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Nudging the Boundaries of LLM Reasoning [77.26972440427285]
  現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-09-30T02:01:40Z)
• MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
  半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。 既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。 MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
  論文  参考訳（メタデータ） (2025-06-15T15:02:59Z)
• Provable Scaling Laws for the Test-Time Compute of Large Language Models [84.00141420901038]
  本研究では,大規模言語モデルのテスト時間計算において,証明可能なスケーリング法則を享受する2つのアルゴリズムを提案する。 1つは2段階ノックアウト方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。 もう1つは2段階のリーグ方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。
  論文  参考訳（メタデータ） (2024-11-29T05:29:47Z)
• Testable Learning with Distribution Shift [9.036777309376697]
  分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。 テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。 ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
  論文  参考訳（メタデータ） (2023-11-25T23:57:45Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• A Finite Sample Complexity Bound for Distributionally Robust Q-learning [17.96094201655567]
  我々は,展開環境が訓練環境と異なる強化学習環境を考える。 ロバストなマルコフ決定プロセスの定式化を適用することで、Liuらで研究されている分布的にロバストな$Q$ラーニングフレームワークを拡張します。 これはモデルのないロバストなRL問題に対する最初のサンプル複雑性結果である。
  論文  参考訳（メタデータ） (2023-02-26T01:15:32Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。