論文の概要: Can Code Language Models Learn Clarification-Seeking Behaviors?

• arxiv url: http://arxiv.org/abs/2504.16331v2
• Date: Fri, 26 Sep 2025 05:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.320113
• Title: Can Code Language Models Learn Clarification-Seeking Behaviors?
• Title（参考訳）: コード言語モデルは明確化探索行動を学ぶことができるか?
• Authors: Jie JW Wu, Manav Chaudhary, Davit Abrahamyan, Arhaan Khaku, Anjiang Wei, Fatemeh H. Fard,
• Abstract要約: ClarifyCoderは,合成データ生成と命令調整を行うフレームワークである。 ClarifyCoderは,あいまいなタスクに対して,コミュニケーション率63%,質問率52%を達成した。
• 参考スコア（独自算出の注目度）: 4.788534218705066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in code generation tasks. However, a gap remains between their output and the problem-solving strategies of human developers. Unlike humans, who spend substantial time disambiguating requirements through iterative dialogue, LLMs often generate code despite ambiguities in natural language requirements, leading to unreliable solutions. Different from prior work, we study whether a Code LLM can be fine-tuned to learn clarification-seeking behavior. While recent work has focused on LLM-based agents for iterative code generation, we argue that the ability to recognize and query ambiguous requirements should be intrinsic to the models themselves, especially in agentic AI where models and humans collaborate. We present ClarifyCoder, a framework with synthetic data generation and instruction-tuning that fine-tunes an LLM to identify ambiguities and request clarification before code generation. Our approach has two components: (1) a data synthesis technique that augments programming datasets with scenarios requiring clarification to generate clarification-aware training data, and (2) a fine-tuning strategy that teaches models to prioritize seeking clarification over immediate code generation when faced with incomplete or ambiguous requirements. We also provide an empirical analysis of integrating ClarifyCoder with standard fine-tuning for joint optimization of clarification-awareness and coding ability. Experimental results show that ClarifyCoder achieves a 63% communication rate (40% absolute increase) and a 52% good question rate (30% absolute increase) on ambiguous tasks, significantly improving LLMs' communication capabilities while maintaining code generation performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示した。 しかしながら、人間の開発者のアウトプットと問題解決戦略の間には、ギャップが残っています。 反復対話を通じて要求を曖昧にするためにかなりの時間を費やす人間とは異なり、LLMは自然言語要求の曖昧さにもかかわらず、しばしばコードを生成する。 従来の作業とは違って,コードLLMを微調整して明確化探索動作を学習できるかどうかを検討した。 最近の研究は、反復的なコード生成のためのLLMベースのエージェントに焦点を当てているが、不明瞭な要求を認識してクエリする能力は、モデル自体、特にモデルと人間が協力するエージェントAIに固有のものであるべきだ、と私たちは主張する。 ClarifyCoderは、LLMを微調整して曖昧さを識別し、コード生成前に明確化を要求する合成データ生成と命令チューニングを行うフレームワークである。 提案手法は,(1)明確化が必要なシナリオでプログラムデータセットを拡大するデータ合成手法,(2)不完全あるいは曖昧な要件に直面した場合,即時コード生成よりも明確化を求めることをモデルに教える微調整手法である。 また,ClarifyCoderと標準微調整を統合した経験的解析を行い,明確化認識能力と符号化能力の協調最適化を行った。 実験の結果,ClarifyCoderは曖昧なタスクに対して63%の通信速度(40%の絶対的な増加)と52%の良好な質問率(30%の絶対的な増加)を達成し,コード生成性能を維持しながらLLMの通信能力を大幅に向上させた。

関連論文リスト

• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Post-Incorporating Code Structural Knowledge into LLMs via In-Context Learning for Code Translation [10.77747590700758]
  大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
  論文  参考訳（メタデータ） (2025-03-28T10:59:42Z)
• CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [24.090719826360342]
  我々は、コード生成シナリオ内でタスク指向の命令に従うために、LLM(Large Language Models)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。 我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
  論文  参考訳（メタデータ） (2025-02-26T14:19:49Z)
• Guided Code Generation with LLMs: A Multi-Agent Framework for Complex Code Tasks [1.9198713957364215]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示している。 複雑な、長いコンテキストプログラミングの課題に対処する上で、それらは重大な制限に直面します。 「案内コード生成のための新しいエージェント・フレームワーク」について紹介する。
  論文  参考訳（メタデータ） (2025-01-11T19:21:53Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。