論文の概要: Performance, Efficiency and Collapse -- Advantages and Challenges in Offline Post-training of Code LLMs

• arxiv url: http://arxiv.org/abs/2609.11956v1
• Date: Thu, 06 Aug 2026 14:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.504098
• Title: Performance, Efficiency and Collapse -- Advantages and Challenges in Offline Post-training of Code LLMs
• Title（参考訳）: コードLLMのオフライン後トレーニングにおけるパフォーマンス、効率、失敗のメリットと課題
• Abstract要約: 強化学習(RL)による後学習は,大規模言語モデル(LLM)の開発における重要な段階である この研究は、新しいサンプルを生成するのではなく、既存のデータセットを活用することにより、RLベースのポストトレーニングが完全にオフラインで実行できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 5.1981024469718315
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Post-training with reinforcement learning (RL) is a critical phase in the development of code-generating large language models (LLMs), as it ensures adherence to instructions and the production of functionally correct code. This process typically requires computationally intensive code sample generation from Transformer-based LLMs and substantial GPU-CPU communication for sequence verification. To address these computational challenges, this work examines whether RL-based post-training can be performed entirely offline by leveraging existing datasets rather than generating new samples. The findings indicate that, with only a few hours of training, zero-shot code generation performance of LLMs can be substantially improved without online sampling. Additionally, offline RL produces performance gains across models ranging from 0.5B to 7B parameters, although the extent of improvement varies among model families.
• Abstract（参考訳）: 強化学習(RL)による後学習は、命令の順守と機能的正しいコードの生成を保証するため、コード生成大型言語モデル(LLM)の開発において重要な段階である。 このプロセスは典型的には、TransformerベースのLCMから計算集約的なコードサンプル生成と、シーケンス検証のための相当なGPU-CPU通信を必要とする。 これらの計算課題に対処するために、新しいサンプルを生成するのではなく、既存のデータセットを活用することにより、RLベースのポストトレーニングが完全にオフラインで実行できるかどうかを検討する。 その結果, 数時間のトレーニングで, LLMのゼロショットコード生成性能は, オンラインサンプリングなしで大幅に改善できることが示唆された。 さらに、オフラインRLは0.5Bから7Bまでのモデルで性能が向上するが、改善の程度はモデルファミリによって異なる。

関連論文リスト

• Efficient Post-training of LLMs for Code Generation With Offline Reinforcement Learning [5.1981024469718315]
  オンライン強化学習(RL)を用いたポストトレーニングは、コード生成モデルを含むLLMにとって重要なトレーニングステップである。 コード生成のためのオンラインRLには、生成した出力の推測と検証が含まれており、かなりの時間とリソースを要する可能性がある。 本稿では,既存のコードデータセットを利用したコード生成モデルへのオフラインRLの適用について検討する。
  論文  参考訳（メタデータ） (2026-05-27T12:43:14Z)
• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning [4.975728472540823]
  各種クラスタリングとプルーニングのメトリクスを統合して、生成されたコードの正確性や機能を損なうことなく、トレーニングデータを選択的に削減する手法を提案する。 実験により,これらのプルーニング戦略は,必要な計算資源を削減するだけでなく,全体的な品質コード生成を向上することが示された。
  論文  参考訳（メタデータ） (2024-07-06T10:30:43Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は優れた性能を示しており、研究者はレジスタ転送レベル(RTL)コード生成の自動化に利用することを模索している。 RTL生成のためのファインチューンLSMへの既存のアプローチは、通常、固定データセット上で実行される。 ITERTLと呼ばれる反復的なトレーニングパラダイムを導入し、これらの問題を緩和する。 我々のモデルは GPT4 と State-of-the-art (SOTA) のオープンソースモデルより優れており、VerilogEval- Human ベンチマークでは 53.8% のパス@1 レートを達成した。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Exploring Data-Efficient Adaptation of Large Language Models for Code Generation [64.5583894165813]
  コード生成のための誤り駆動学習を用いたデータ効率向上のための新しい適応手法DEEDを提案する。 実験により、他の主流の微調整手法と比較して、DEEDは訓練データが少なく、優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。