論文の概要: Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks

• arxiv url: http://arxiv.org/abs/2606.08676v1
• Date: Sun, 07 Jun 2026 15:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.383137
• Title: Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks
• Title（参考訳）: コードスポータによる流れの喪失:コードタスクにおける大規模言語モデルの指導調整税を解放する
• Authors: Shi Ying Chang, Chiok Yew Ho, Yichen Li, Yintong Huo,
• Abstract要約: 本研究は,プログラミングモードにまたがるインストラクションチューニングによる重要なトレードオフを明らかにするための,最初の実証的研究である。 インストラクションチューニングモデルの方が命令に従う能力が高いが、これらの利点はより少ないインフィリング性能の犠牲になることが多い。
• 参考スコア（独自算出の注目度）: 6.645779775557948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI coding assistants have significantly improved developer productivity by automatically suggesting code that aligns with user intent, and many of these tools are now integrated directly into Integrated Development Environments (IDEs). Developers interact with code in two distinct cognitive modes: Flow and Command. While developers require tools that directly complete or infill code in unfinished programs during Flow mode, they also need tools that can comprehend intentions expressed as natural-language instructions and convert them into executable code in Command mode. Although instruction-tuned Large Language Models (LLMs) dominate many application scenarios due to their abilities to infer and fulfill developers' intents, it remains unclear whether the same paradigm is equally suitable for different code-related tasks. Therefore, it is necessary to understand how instruction tuning affects the feasibility of CodeLLMs as coding assistants. To fill this gap, we conduct the first empirical study that uncovers a key trade-off caused by instruction tuning across programming modes, which we term the Instruction-Tuning Tax. Our results show that instruction tuning is not a free lunch: although instruction-tuned models are more capable of following instructions and leveraging structured guidance, these gains often come at the cost of weaker infilling performance. We further extend our study through both qualitative and quantitative analyses, including manual failure categorization, behavioral metrics that capture generation fidelity, and intermediate-checkpoint evaluation throughout the tuning process. Summarizing our results into seven findings and four implications, our study offers a new perspective on the development of AI-powered coding tools and highlights the need to carefully balance instruction-following ability with effective code generation assistance.
• Abstract（参考訳）: AIコーディングアシスタントは、ユーザの意図に沿ったコードを自動的に提案することで、開発者の生産性を大幅に向上させ、これらのツールの多くは、現在、統合開発環境(IDE)に直接統合されています。 開発者は2つの異なる認知モード – FlowとCommand – でコードと対話する。 開発者は、フローモード中に未完成のプログラムで直接完了または埋め込むツールを必要とするが、自然言語命令として表現された意図を理解し、コマンドモードで実行可能なコードに変換するツールも必要である。 命令調整型大規模言語モデル(LLM)は、開発者の意図を推論し、満たす能力のため、多くのアプリケーションシナリオを支配しているが、同じパラダイムがコード関連のタスクに等しく適しているかどうかは不明だ。 そのため、コーディングアシスタントとしてのCodeLLMsの実現可能性に、命令チューニングがどう影響するかを理解する必要がある。 このギャップを埋めるために,我々は,プログラミングモードをまたいだ指導指導による重要なトレードオフを明らかにするための,最初の実証的研究を行った。 インストラクションチューニングモデルでは,命令を追従し,構造化したガイダンスを活用することができるが,これらの利点は,より少ないインフィリング性能の犠牲となることが多い。 さらに、手動故障分類、生成の忠実度を捉える行動指標、チューニングプロセス全体での中間チェックポイント評価など、定性的および定量的な分析によって研究をさらに進める。 我々の研究は、その結果を7つの発見と4つの意味に要約し、AIによるコーディングツールの開発に関する新たな視点を提供し、効果的なコード生成支援と命令追跡能力を慎重にバランスさせることの必要性を強調した。

関連論文リスト

• Guidelines to Prompt Large Language Models for Code Generation: An Empirical Characterization [82.29178197694819]
  我々は、開発固有のプロンプト最適化ガイドラインを導出し、評価する。 コード生成プロンプトを自動的に洗練するために、反復的でテスト駆動のアプローチを使用します。 我々は50人の実践者と評価を行い,提案した即興改善パターンの使用状況について報告する。
  論文  参考訳（メタデータ） (2026-01-19T15:01:42Z)
• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [20.013757490442064]
  タスク指向の命令に準拠する大規模言語モデル(LLM)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。 CodeIFは関数合成、アルゴリズム命令、コード説明など幅広いタスクを含んでいる。 我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
  論文  参考訳（メタデータ） (2025-02-26T14:19:49Z)
• ToolCoder: A Systematic Code-Empowered Tool Learning Framework for Large Language Models [81.12673534903979]
  ツール学習は、大規模な言語モデル(LLM)にとって、外部ツールとのインタラクションを通じて、複雑な現実世界のタスクを解決する重要な機能として登場した。 本稿では,ツール学習をコード生成タスクとして再編成する新しいフレームワークであるToolCoderを提案する。
  論文  参考訳（メタデータ） (2025-02-17T03:42:28Z)
• From Symbolic Tasks to Code Generation: Diversification Yields Better Task Performers [1.6958018695660049]
  コードに関連するタスクを超えて、より多様な命令セットがコード生成のパフォーマンスを向上させることを示す。 我々の観察から,命令調整セットのより多様な意味空間が,命令に従う能力とタスクの実行能力を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-05-30T07:54:07Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。