論文の概要: SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

• arxiv url: http://arxiv.org/abs/2606.06826v1
• Date: Fri, 05 Jun 2026 02:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.512607
• Title: SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation
• Title（参考訳）: SkelDPO: 効率的なコード生成のための骨格誘導直接参照最適化フレームワーク
• Authors: Yu Yu, Chen Lyu,
• Abstract要約: SkelDPOはスケルトン誘導の好み最適化フレームワークである。 コードデータセットから効率的で非効率な実装を特定する。 トレーニング中、ジョイントコードとスケルトン優先の損失が導入され、モデルが意味的正確性を学ぶことができる。
• 参考スコア（独自算出の注目度）: 4.9858352320162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the remarkable progress of Code Large Language Models (Code LLMs) in achieving semantic correctness, execution efficiency has become an increasingly important dimension for evaluating their practical utility. However, existing approaches typically treat full programs as a single optimization target during training, without explicitly modeling the structural factors that influence efficiency. As a result, although these models can generate semantically correct code, they fail to learn, at a fine-grained level, the underlying skeleton features that lead to efficient implementations. To address this limitation, we propose SkelDPO (Skeleton-Guided Direct Preference Optimization), a skeleton-guided preference optimization framework that systematically enhances the efficiency of code generation. SkelDPO first identifies efficient and inefficient implementations from the code dataset and, through comparative analysis, locates their efficiency-prone and inefficiency-prone points, forming alignment signals between efficiency and inefficiency skeletons. During training, a joint code and skeleton preference loss is introduced, enabling the model to learn semantic correctness while reinforcing its understanding of efficiency-critical components in code. Results show that SkelDPO consistently surpasses existing methods: compared with SOTA method that relies solely on efficient and inefficient code preference optimization, it improves Pass@1, Beyond@1, and Effi@1 by 3-6%, 3-7%, and 2-5%, with greater improvements observed on complex tasks. Overall, SkelDPO provides a new perspective on skeleton-level efficiency alignment, breaking the limitation of conventional preference optimization that relies solely on correctness or efficiency pairs. All datasets and source code are publicly available at: https://github.com/icpcSkelDPO/SkelDPO.
• Abstract（参考訳）: 意味的正確性を達成するためのコードLLM(Code Large Language Models)の顕著な進歩により、実行効率は実用性を評価する上でますます重要になっている。 しかし、既存のアプローチは通常、効率に影響を与える構造的要因を明示的にモデル化することなく、トレーニング中に完全なプログラムを単一の最適化ターゲットとして扱う。 その結果、これらのモデルは意味論的に正しいコードを生成することができるが、よりきめ細かいレベルでは、効率的な実装につながる基盤となるスケルトン機能を学ぶことができない。 この制限に対処するため,スケルDPO (Skeleton-Guided Direct Preference Optimization) を提案し,コード生成の効率を体系的に向上させるスケルDPO(Skeleton-Guided Direct Preference Optimization)を提案する。 SkelDPOはまず、コードデータセットから効率的で非効率な実装を識別し、比較分析により、効率性のある点と非効率性のある点を見つけ、効率性と非効率性の間のアライメント信号を形成する。 トレーニング中に、ジョイントコードとスケルトン優先の損失が導入され、コード内の効率クリティカルなコンポーネントの理解を強化しながら、セマンティックな正確性を学ぶことができる。 SkelDPOは、効率的で非効率なコード優先最適化にのみ依存するSOTAメソッドと比較して、Pass@1、Beyond@1、Effi@1を3～6%、3～7%、そして2～5%改善し、複雑なタスクでより改善する。 全体として、SkelDPOは骨格レベルの効率調整に関する新しい視点を提供し、正確性や効率のペアにのみ依存する従来の選好最適化の限界を破る。 すべてのデータセットとソースコードは、https://github.com/icpcSkelDPO/SkelDPOで公開されている。

関連論文リスト

• Chiseling Out Efficiency: Structured Skeleton Supervision for Efficient Code Generation [61.72280804975896]
  大規模言語モデル(LLM)は、構文的に正しく機能的に完全なプログラムを生成し、ソフトウェア開発を大幅に合理化することができる。 この効率ギャップを埋める既存のアプローチは、生成後のコードを反復的に最適化するか、効率のよいコードのコーパスで微調整モデルを使用するのが一般的である。 EffiSkelは効率のスケルトン誘導フレームワークで、効率のスケルトン抽出、再利用可能な構造パターンの効率的なコード抽出と学習を行う。
  論文  参考訳（メタデータ） (2026-06-05T01:49:20Z)
• Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation [82.04574413609187]
  投機的復号化は、特定のドメインに対してターゲットモデルを微調整する場合、性能劣化に悩まされる。 単純な解決策は、コストがかかり非効率な、すべてのターゲットモデルのドラフトモデルをトレーニングすることです。 EDA(Efficient Draft Adaptation)と呼ばれるパラメータとデータ効率のフレームワークを導入する。
  論文  参考訳（メタデータ） (2026-03-10T11:35:58Z)
• DEPO: Dual-Efficiency Preference Optimization for LLM Agents [75.6723341304463]
  本稿では、簡潔な応答とアクションステップの低減を両立させる二重効率優先最適化手法DEPOを提案する。 WebShopとBabyAIの実験によると、DECOはトークンの使用量を最大60.9%削減し、ステップを最大26.9%削減し、パフォーマンスは最大29.3%向上した。
  論文  参考訳（メタデータ） (2025-11-19T12:38:43Z)
• Towards Better Correctness and Efficiency in Code Generation [47.06216040246783]
  本稿では,新しい性能報酬によって導かれる効率指向の強化学習フレームワークを提案する。 オンライン探索は、高精度ベースラインから始める際に最も効果的である。 実験では、コード精度を10.18%向上し、実行効率を7Bモデルで7.75%向上させる手法の有効性が示されている。
  論文  参考訳（メタデータ） (2025-08-24T16:47:19Z)
• Afterburner: Reinforcement Learning Facilitates Self-Improving Code Efficiency Optimization [46.33639431414019]
  大規模言語モデルは機能的に正しいソリューションを生成するが、コード効率が不足することが多い。 この問題に対処する新しいテストタイム反復最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-29T12:14:29Z)
• Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
  モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。 95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。 私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
  論文  参考訳（メタデータ） (2024-08-23T10:10:37Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。