論文の概要: Bridging Developer Instructions and Code Completion Through Instruction-Aware Fill-in-the-Middle Paradigm

• arxiv url: http://arxiv.org/abs/2509.24637v1
• Date: Mon, 29 Sep 2025 11:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.948371
• Title: Bridging Developer Instructions and Code Completion Through Instruction-Aware Fill-in-the-Middle Paradigm
• Title（参考訳）: インストラクション・イン・ザ・ミドルパラダイムによる開発者命令のブリッジとコード補完
• Authors: Zhensu Sun, Chengran Yang, Chao Peng, Pengfei Gao, Xiaoning Du, Li Li, David Lo,
• Abstract要約: Instruction-aware Fill-in-the-Middle (IFIM)を導入し、コード補完モデルを強化する。 IFIMは明示的な命令セクションを入力に組み込んで、モデルが三つ子から学習できるようにする。 結果:IFIMは命令フォロー機能を大幅に改善し、Pass@1スコアは84.6%から93.6%に向上した。
• 参考スコア（独自算出の注目度）: 14.429414087640886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have significantly advanced code completion, yet they often fail when the developer's intent is underspecified in the code context. To address this, developers usually add natural language instructions (e.g., comments) into the code context to clarify their intent. However, existing code LLMs applied for code completion systems merely undergo a fill-in-the-middle (FIM) pre-training, which struggles to leverage this information effectively due to the lack of instruction-like training data. Existing instruction-tuning techniques, which improve instruction-following in general code generation, paradoxically degrade FIM performance, forcing a trade-off between instruction-following and infilling capabilities. To address this gap, we introduce Instruction-aware Fill-in-the-Middle (IFIM), an instruction-tuning method specifically designed to enhance FIM code completion models. IFIM extends the conventional FIM training objective by incorporating an explicit instruction section into the input, enabling the model to learn from (prefix, instruction, suffix) triplets. This approach allows the model to effectively leverage developer-provided directives while preserving its core completion abilities when no instructions are present. To facilitate this, we constructed a large-scale dataset by using GPT-4o to generate concise, intent-focused instructions for code infilling examples. We evaluated IFIM by applying it to two popular base models, Deepseek-Coder and Qwen2.5-Coder, on the benchmarks derived from HumanEval-infilling and RepoMasterEval. The results demonstrate that IFIM significantly improves instruction-following capabilities, boosting the Pass@1 score from 84.6% to 93.6% on HumanEval-infilling. Moreover, this enhancement does not compromise the models' original performance on FIM code completion tasks with no instructions provided.
• Abstract（参考訳）: 大規模言語モデル(LLM)はコード補完が大幅に進んでいるが、コードのコンテキストにおいて開発者の意図が過小評価されている場合、しばしば失敗する。 これを解決するために、開発者は通常、意図を明確にするために、コードコンテキストに自然言語命令(例:コメント)を追加する。 しかし、コード補完システムに適用される既存のコードLLMは、単にFIM事前トレーニングを実行しているだけであり、命令のようなトレーニングデータがないため、この情報を効果的に活用するのに苦労している。 一般的なコード生成における命令追従を改善する既存の命令追従技術は、パラドックス的にFIM性能を低下させ、命令追従機能とインフィル機能とのトレードオフを強制する。 このギャップに対処するために、FIMコード補完モデルを強化するために特別に設計された命令チューニング手法であるIFIM(Instruction-aware Fill-in-the-Middle)を導入する。 IFIMは、明示的な命令セクションを入力に組み込むことで、従来のFIMトレーニング目標を拡張し、モデルが三つ子(前置、命令、接尾辞)から学習できるようにする。 このアプローチにより、ディベロッパが提供するディレクティブを効果的に活用でき、命令がない場合にコアコンプリート能力を維持することができる。 これを容易にするために, GPT-4oを用いて, コード入力例の簡潔で意図を重視した命令を生成する大規模データセットを構築した。 我々は、HumanEval-infillingとRepoMasterEvalから得られたベンチマークに基づいて、それを2つの人気のあるベースモデルであるDeepseek-CoderとQwen2.5-Coderに適用することでIFIMを評価した。 その結果、IFIMは命令追跡能力を大幅に改善し、Pass@1のスコアは84.6%から93.6%に向上した。 さらに、この拡張は、FIMコード補完タスクにおけるモデルのオリジナルのパフォーマンスを、指示なしで損なうことはない。

関連論文リスト

• Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation [17.061613097917217]
  本稿では,トークン埋め込みの適応性を高めつつ,事前学習した意味を保存する統一的なフレームワークを提案する。 3つの実世界のデータセットの実験では、DECORが推奨パフォーマンスにおいて、最先端のベースラインを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-08-22T18:50:38Z)
• CodeBoost: Boosting Code LLMs by Squeezing Knowledge from Code Snippets with RL [28.43882967593511]
  コード大言語モデル(LLM)は、効率的で自動化されたコーディングパイプラインを構築するのに欠かせないツールになっている。 既存のモデルは、「ヒューマンインストラクション-ファイナル応答」ペアを用いて汎用LLMから強化学習(RL)を用いて後訓練されるのが一般的である。 我々は,コードスニペットからLLMを純粋に拡張するフレームワークであるCodeBoostを提案する。
  論文  参考訳（メタデータ） (2025-08-07T10:31:24Z)
• Infinity Instruct: Scaling Instruction Selection and Synthesis to Enhance Language Models [14.927052028174744]
  Infinity-Instructは、大規模言語モデルの基本機能とチャット機能の両方を強化するために設計された高品質な命令データセットである。 我々は、Mistral、LLaMA、Qwen、Yiなどのオープンソースモデルを微調整して、Infinity-Instructを実証的に評価し、基礎的および命令的ベンチマークの両方でかなりの性能向上を観察する。
  論文  参考訳（メタデータ） (2025-06-09T06:37:15Z)
• Training with Pseudo-Code for Instruction Following [4.7188893422904]
  我々は、擬似コードで表現された場合、モデルが指示に従うことを示唆する最近の研究から着想を得た。 擬似コードで再表現された命令を含む命令調整データを用いた微調整大規模言語モデルを提案する。 我々は、5ドルの異なるモデルで厳密な実験を行い、擬似コードで訓練された場合、モデルが指示に従うだけでなく、数学的および常識推論に関連する他のタスクにもその能力を維持することを発見した。
  論文  参考訳（メタデータ） (2025-05-23T15:14:29Z)
• Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models [54.14602121129874]
  トレーニングデータを自動的に生成する最初のスケーラブルで信頼性の高いAutoIFを導入する。 AutoIFは命令追従データ品質の検証をコード検証に変換する。
  論文  参考訳（メタデータ） (2024-06-19T13:29:53Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。