論文の概要: Towards Better Correctness and Efficiency in Code Generation
- arxiv url: http://arxiv.org/abs/2508.20124v1
- Date: Sun, 24 Aug 2025 16:47:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-29 18:12:01.567737
- Title: Towards Better Correctness and Efficiency in Code Generation
- Title（参考訳）: コード生成の正確性と効率性向上に向けて
- Authors: Yunlong Feng, Yang Xu, Xiao Xu, Binyuan Hui, Junyang Lin,
- Abstract要約: 本稿では,新しい性能報酬によって導かれる効率指向の強化学習フレームワークを提案する。
オンライン探索は、高精度ベースラインから始める際に最も効果的である。
実験では、コード精度を10.18%向上し、実行効率を7Bモデルで7.75%向上させる手法の有効性が示されている。
- 参考スコア（独自算出の注目度）: 47.06216040246783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While code large language models have demonstrated remarkable progress in code generation, the generated code often exhibits poor runtime efficiency, limiting its practical application in performance-sensitive scenarios. To address this limitation, we propose an efficiency-oriented reinforcement learning framework guided by a novel performance reward. Based on this framework, we take a deeper dive into the code efficiency problem, identifying then proposing methods to overcome key bottlenecks: (1) Dynamic exploration overcomes the static data constraints of offline fine-tuning, enabling the discovery of more efficient code implementations. (2) The error-insensitive reinforcement learning method and high-contrast efficiency signals are crucial for mitigating systematic errors and achieving effective optimization. (3) Online exploration is most effective when starting from a high-correctness baseline, as this allows for efficiency improvements without sacrificing accuracy. With these discoveries, we finally propose a two-stage tuning method, which achieves high and balanced performance across correctness and efficiency. The results of experiments show the effectiveness of the method, which improves code correctness by 10.18\% and runtime efficiency by 7.75\% on a 7B model, achieving performance comparable to much larger model.
- Abstract（参考訳）: コード大言語モデルはコード生成において顕著な進歩を見せていますが、生成されたコードは実行時の効率が悪く、パフォーマンスに敏感なシナリオにおける実用的応用を制限します。
この制限に対処するために,新しい性能報酬によって導かれる効率指向の強化学習フレームワークを提案する。
1) 動的探索は、オフラインの微調整の静的データ制約を克服し、より効率的なコード実装の発見を可能にします。
2) 系統的誤りを軽減し, 効果的な最適化を実現するためには, 誤差非感受性強化学習法と高コントラスト効率信号が不可欠である。
(3) オンライン探索は, 精度を犠牲にすることなく効率を向上できるため, 高精度ベースラインから始める際に最も効果的である。
これらの発見により、我々はついに2段階チューニング法を提案し、精度と効率を両立させ、高いバランスの取れた性能を実現する。
実験の結果,コード精度を10.18 %向上し,実行効率を7Bモデルで7.75 %向上させる手法の有効性が示された。
関連論文リスト
- On the Scaling of Robustness and Effectiveness in Dense Retrieval [111.58315434849047]
ロバストさと有効性は、現実世界のアプリケーションのための密集した検索モデルを開発する上で重要な側面である。
最近の研究は、高密度検索における有効性のスケーリング法則に対処し、モデルとデータのサイズと有効性の間には、ゆるい関係があることを明らかにしている。
堅牢性と有効性は異なるスケーリングパターンを示しており、両方を共同で改善する場合、かなりのリソースコストがかかります。
論文 参考訳（メタデータ） (2025-05-30T06:57:27Z) - Afterburner: Reinforcement Learning Facilitates Self-Improving Code Efficiency Optimization [46.33639431414019]
大規模言語モデルは機能的に正しいソリューションを生成するが、コード効率が不足することが多い。
この問題に対処する新しいテストタイム反復最適化フレームワークを導入する。
論文 参考訳（メタデータ） (2025-05-29T12:14:29Z) - LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness [38.399282089600284]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。
ulineLarge ulineLanguage ulineModel for Code ulineEfficiencyは、LLMが効率性と正確性の両方のバランスをとるコードを生成することができる新しいフレームワークである。
論文 参考訳（メタデータ） (2025-02-17T07:01:18Z) - Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。
95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。
私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
論文 参考訳（メタデータ） (2024-08-23T10:10:37Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FastRE: Towards Fast Relation Extraction with Convolutional Encoder and
Improved Cascade Binary Tagging Framework [13.4666880421568]
本稿では,畳み込みエンコーダと改良されたカスケードバイナリタグフレームワークに基づく高速関係抽出モデル(FastRE)を提案する。
FastREは、最先端モデルと比較して3～10倍のトレーニング速度、7～15倍の推論速度、1/100のパラメータを実現している。
論文 参考訳（メタデータ） (2022-05-05T07:59:51Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。