論文の概要: SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion

• arxiv url: http://arxiv.org/abs/2508.15495v1
• Date: Thu, 21 Aug 2025 12:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.314512
• Title: SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion
• Title（参考訳）: SynthCoder: コード補完のためにLLMをチューニングするための合成戦略
• Authors: Dongjun Yu, Xiao Yan, Zhenrui Li, Jipeng Xiao, Haochuan He, Yongda Yu, Hao Zhang, Guoping Rong, Xiaobo Huang,
• Abstract要約: コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
• 参考スコア（独自算出の注目度）: 7.4951371661497355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code completion is a prominent application of Large Language Models (LLMs) in software engineering. Due to the near real-time response requirements of this task, base models with small to medium-sized parameters are typically employed, supplemented by various optimization and post-training techniques. However, these optimization methods often have trade-offs, leading to a seesaw effect where performance improvements on certain datasets or metrics are accompanied by degradations on others -- sometimes even falling below the baseline model's performance. This paper proposes SynthCoder, a model that integrates leading industry practices to achieve state-of-the-art performance on the Fill-in-the-Middle (FIM) code completion task. In specific, we first construct a diverse dataset by combining Abstract Syntax Tree (AST) node extraction with heuristics that simulate developer behavior. Then we enrich our training corpus with cross-file contextual information using the BM25 algorithm and call graphs, enhancing the model's ability to perform code completion in both file-level and repository-level scenarios. As the last step, we employ a two-stage training process using the Seed-Coder-8B-Base as the base model. First, we fine-tune the model using Curriculum Learning technology. Following this, we perform alignment using Direct Preference Optimization (DPO) with preference pairs generated through Rejection Sampling. Experimental results demonstrate that our final model excels on mainstream repository-level code completion benchmarks, including aiXcoder, ExecRepoBench, CrossCodeEval, and CoLT. Furthermore, our carefully curated training set effectively mitigates the model's tendency to just repeat existing code, a common issue existing in various code completion models.
• Abstract（参考訳）: コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 このタスクのほぼリアルタイムな応答要求のため、小～中規模のパラメータを持つベースモデルは一般的に、様々な最適化やポストトレーニング技術によって補完される。 しかしながら、これらの最適化手法にはトレードオフがしばしばあり、特定のデータセットやメトリクスのパフォーマンス改善と、他のデータセットの劣化が伴うシーソー効果が、ベースラインモデルのパフォーマンスより下降することもある。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端のパフォーマンスを実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。 具体的には、まず、抽象構文木(AST)ノード抽出と、開発者の振る舞いをシミュレートするヒューリスティックスを組み合わせることで、多様なデータセットを構築する。 そして、BM25アルゴリズムとコールグラフを使用して、クロスファイルのコンテキスト情報でトレーニングコーパスを強化し、ファイルレベルのシナリオとリポジトリレベルのシナリオの両方でコード補完を実行するモデルの能力を高めます。 最後のステップとして、Seed-Coder-8B-Baseをベースモデルとして、2段階のトレーニングプロセスを採用する。 まず、カリキュラム学習技術を用いてモデルを微調整する。 次に、直接選好最適化(DPO)を用いて、Rejection Smplingを通じて生成された選好ペアをアライメントする。 実験の結果、最終的なモデルは、aiXcoder、ExecRepoBench、CrossCodeEval、CoLTなど、メインストリームのリポジトリレベルのコード補完ベンチマークに優れています。 さらに、慎重にキュレートされたトレーニングセットは、様々なコード補完モデルに共通する問題である既存のコードだけを繰り返す傾向を効果的に緩和します。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Towards A Generalist Code Embedding Model Based On Massive Data Synthesis [35.04242699869519]
  汎用コード検索のための最先端の埋め込みモデルである textbfCodeR (underlineCode underlineRetrieval) を導入する。 CodeRの優れたパフォーマンスは、DRU原則に基づいて構築された大規模な合成データセットであるCodeR-Pile上に構築されている。
  論文  参考訳（メタデータ） (2025-05-19T04:37:53Z)
• UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。 私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。 我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-17T05:37:02Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models [38.41524186248607]
  我々はNV-Embedを導入し、アーキテクチャ設計、トレーニング手順、キュレートされたデータセットを取り入れた。 モデルアーキテクチャでは, プール埋め込みを実現するために, 潜時注意層を提案する。 学習アルゴリズムでは,2段階のコントラッシブ・インストラクション・チューニング手法を導入する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:45Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
  ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。 CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。 本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
  論文  参考訳（メタデータ） (2022-01-13T21:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。