Fugu-MT 論文翻訳(概要): Reinforcement Learning for Code Optimization

論文の概要: Reinforcement Learning for Code Optimization

arxiv url: http://arxiv.org/abs/2607.25970v1
Date: Tue, 28 Jul 2026 16:52:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-29 20:50:42.939285
Title: Reinforcement Learning for Code Optimization
Title（参考訳）: コード最適化のための強化学習
Abstract要約: 私たちは3段階を通して実行時間を学習できるようにします。 DMC-Optimでは、最強の最適化対応構成により、厳格なトップ50%のpass@1が改善される。 LCBでは、CWM 32Bは標準のRLVRと比較して83%の速度で勝利する。
参考スコア（独自算出の注目度）: 19.777959770513117
License: http://creativecommons.org/licenses/by/4.0/
Abstract: RL for code correctness is now established: have the model generate a program, run it against hidden test cases, and reward solutions that pass. Extending this to code optimization seems straightforward: just add execution time to the reward. But in practice, once timing drives the reward, small problems in measurement noise, reward sparsity, or GRPO instability overwhelm the signal and make RL fail: generated solutions are barely faster, and more of them can fail. We make execution time learnable through three stages: (1) how code is tested, by building DMC-Optim with large optimization tests and a calibrated sandbox; (2) how speed is turned into reward, by composing correctness and speed in the RL environment and using an offline simulator to predict the most promising configurations; and (3) how the model learns from that reward, by adapting GRPO and evaluation to the sparser, noisier timed-execution setting. On DMC-Optim, the strongest optimization-aware configurations improve strict top-50% pass@1 from 18.0% to 31.3% on Qwen 2.5 7B and from 30.7% to 50.4% on CWM 32B. These gains further increase at stricter percentiles such as top-30%, with 125% relative improvement for CWM 32B, while preserving pure-correctness scores. When the timing sandbox is degraded, robust optimization RL reaches 100% to 200% improvement over standard RLVR, depending on the evaluation criterion. On LCB, CWM 32B wins up to 83% of median-sample speed comparisons against standard RLVR. Relative to the fastest correct human submissions per problem, it reaches about half the human rate of complexity-class improvements (14% vs. 28%).
Abstract（参考訳）: モデルはプログラムを生成し、隠れたテストケースに対して実行する。これをコードの最適化に拡張するのは簡単そうに思える。しかし実際には、一度タイミングが報奨を駆動すると、測定ノイズ、報奨間隔、GRPO不安定が信号に圧倒され、RLがフェールする:生成される解はわずかに速くなり、より多くの解がフェールする。 1)大規模な最適化テストとキャリブレーションサンドボックスを備えたDMC-Optimの構築,(2)RL環境における正しさとスピードの構築,およびオフラインシミュレータによる最も有望な構成の予測,(3)GRPOの適応によるモデル学習,および,よりノイズの多いスケジュール設定による評価,の3段階を通じて,実行時間を学習可能にする。 DMC-Optimでは、最強の最適化対応構成により、Qwen 2.5 7Bでは18.0%から31.3%、CWM 32Bでは30.7%から50.4%に厳格なトップ50%パス@1が改善されている。これらの値はさらに上昇し、CWM 32Bは125%改善され、純粋な正当性スコアは保たれる。タイミングサンドボックスが劣化すると、評価基準に応じて、ロバスト最適化RLは標準RLVRよりも100%から200%向上する。 LCBでは、CWM 32Bは標準のRLVRと比較して83%の速度で勝利する。問題ごとのヒトの提出率が最も速いのに対して、複雑性クラスの改善率は約半分に達している(14%対28%)。

関連論文リスト

WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation [67.83495924117089]
大規模並列シミュレーションは、非政治強化学習を訓練するデータ体制を変える。これらの安定化器はデータ登録に依存していることを示す。我々は、政治外RLアルゴリズムのレシシック対応ファミリーであるWarpSACを提案する。
論文参考訳（メタデータ） (2026-08-25T12:24:15Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。 Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。 Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
論文参考訳（メタデータ） (2026-03-25T22:10:36Z)
Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
カーネル生成のための強化学習(RL)について検討する。そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
論文参考訳（メタデータ） (2026-02-05T17:01:09Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
Kevin: Multi-Turn RL for Generating CUDA Kernels [0.0]
我々は,現実の環境で遭遇するユニークな課題に対処する,柔軟なマルチターンRLレシピを開発した。評価設定では、Kevinはベースモデルよりも大幅に向上している。また,テスト時のスケーリング軸の挙動についても検討した。
論文参考訳（メタデータ） (2025-07-16T06:33:07Z)
Thinking Before Running! Efficient Code Generation with Thorough Exploration and Optimal Refinement [47.89758553708932]
textbfThinkCoderは、徹底的な探索と最適な精錬を組み合わせたフレームワークです。探索フェーズは、潜在的な解を探すことによって解空間を多様化し、続いて精度を高める精製フェーズが続く。テスト時間計算のオーバーヘッドを最小化するために、Reinforced Self-Training (ReST) を用いた優先駆動最適化を導入する。
論文参考訳（メタデータ） (2024-12-30T07:02:15Z)
InfAlign: Inference-aware language model alignment [58.66389179049758]
言語モデルのアライメントは、現代の生成言語モデルのトレーニングにおける重要なステップである。この列車/テストのミスマッチは、推論時間法の観点から標準のRLHFフレームワークを最適化することを示す。本稿では,ベースモデルに対するアライメントポリシーの予測時間勝利率を最適化することを目的とした,推論対応アライメント(InfAlign)フレームワークを提案する。
論文参考訳（メタデータ） (2024-12-27T18:45:36Z)
ACECode: A Reinforcement Learning Framework for Aligning Code Efficiency and Correctness in Code Language Models [9.4219427550154]
SOAP や PIE のような CodeLLM のコード効率を最適化するための既存のアプローチには、いくつかの制限がある。 ACECodeは、強化学習に基づく微調整フレームワークで、CodeLLMを効率と正確性の2つの目的に合わせる。 ACECodeは4つのSOTA (state-of-the-art) CodeLLMを微調整し、それらのコードをオリジナル、命令調整、PIE調整の3つのベースラインと比較することで評価する。
論文参考訳（メタデータ） (2024-12-23T04:19:45Z)
Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
論文参考訳（メタデータ） (2024-10-23T07:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。