論文の概要: From Output to Evaluation: Does Raw Instruction-Tuned Code LLMs Output Suffice for Fill-in-the-Middle Code Generation?

• arxiv url: http://arxiv.org/abs/2505.18789v2
• Date: Mon, 09 Jun 2025 18:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.069993
• Title: From Output to Evaluation: Does Raw Instruction-Tuned Code LLMs Output Suffice for Fill-in-the-Middle Code Generation?
• Title（参考訳）: 出力から評価へ:素命令型LLMは中間コード生成に十分か?
• Authors: Wasi Uddin Ahmad, Somshubra Majumdar, Boris Ginsburg,
• Abstract要約: ファイリング・イン・ザ・ミドル(FIM)コード生成におけるLCMの自動評価には,後処理が不可欠である。 本研究では,LLM出力の処理後処理の必要性について検討する。
• 参考スコア（独自算出の注目度）: 35.07534339463043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-processing is crucial for the automatic evaluation of LLMs in fill-in-the-middle (FIM) code generation due to the frequent presence of extraneous code in raw outputs. This extraneous generation suggests a lack of awareness regarding output boundaries, requiring truncation for effective evaluation. The determination of an optimal truncation strategy, however, often proves intricate, particularly when the scope includes several programming languages. This study investigates the necessity of post-processing instruction-tuned LLM outputs. Our findings reveal that supervised fine-tuning significantly enhances FIM code generation, enabling LLMs to generate code that seamlessly integrates with the surrounding context. Evaluating our fine-tuned \texttt{Qwen2.5-Coder} (base and instruct) models on HumanEval Infilling and SAFIM benchmarks demonstrates improved performances without post-processing, especially when the \emph{middle} consist of complete lines. However, post-processing of the LLM outputs remains necessary when the \emph{middle} is a random span of code.
• Abstract（参考訳）: 後処理は、生の出力に外部コードが多く存在するため、FIMコード生成におけるLCMの自動評価に不可欠である。 この外部生成は、アウトプットバウンダリに対する意識の欠如を示唆し、効果的な評価のために切り離す必要がある。 しかし、最適トランケーション戦略の決定は、特にスコープが複数のプログラミング言語を含む場合、しばしば複雑であることが証明される。 本研究では,LLM出力の処理後処理の必要性について検討する。 その結果、教師付き微調整によりFIMコード生成が大幅に向上し、LCMが周囲のコンテキストとシームレスに統合するコードを生成することが判明した。 HumanEval Infilling と SAFIM ベンチマークを用いて、微調整された \texttt{Qwen2.5-Coder} (base and instruct) モデルの評価を行い、特に \emph{middle} が完全な行で構成されている場合、後処理なしで改善された性能を示す。 しかし、'emph{middle} がランダムなコードスパンである場合、LCM 出力の処理後処理は依然として必要である。

関連論文リスト

• LSR-MCTS: Alleviating Long Range Dependency in Code Generation [42.10272627826627]
  大規模言語モデル(LLM)は、コード生成タスクの開発を著しく促進している。 本稿では,MCTS を利用した textbfLSR-MCTS アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:03:25Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Combining LLM Code Generation with Formal Specifications and Reactive Program Synthesis [0.7580487359358722]
  大規模言語モデル(LLM)は精度に苦しむが、リスクの高いアプリケーションには適さない。 コード生成を LLM で処理する部分と,形式的なメソッドベースのプログラム合成で処理する部分の2つに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:59:06Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
  大きな言語モデル(LLM)は、長いコンテキストを処理する際に大きな欠点を示す。 本稿では,事前学習したトランスフォーマーベースLLMに直接適用可能な新しいRAGプロンプト手法を提案する。 我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-04-10T11:03:17Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。