論文の概要: CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation

• arxiv url: http://arxiv.org/abs/2610.01769v1
• Date: Thu, 01 Oct 2026 14:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.190256
• Title: CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation
• Title（参考訳）: CONTRA:LLMコード生成における選択的明確化のための行動チェックの発見と定量化
• Abstract要約: コーディングエージェントは正しいように見えるコードを生成することができるが、ユーザが意図しなかった振る舞いを実装する。 本研究では,広範囲な質問発見とセマンティックおよび実行に基づく質問資格を組み合わせた,学習自由度手法であるCONTRAを提案する。 ClarifyCodeBenchの実験では、CONTRAは4つのコーディングエージェントすべてで最高F1を達成した。
• 参考スコア（独自算出の注目度）: 51.52661708278023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents can generate code that appears correct but implements behavior the user never intended. This mismatch can arise when an agent silently resolves underspecified requirements through its own assumptions. As subsequent development builds on these assumptions, correcting the resulting behavior can become increasingly costly. Early clarification can help prevent such mismatches, but unnecessary questions can interrupt developers and slow down development. Existing methods struggle to identify key clarification questions while avoiding unnecessary ones. Therefore, we propose CONTRA, a training-free method that combines broad question discovery with semantic and execution-based question qualification. CONTRA first generates candidate questions and filters out those unrelated to required behavior or already resolved by the requirement. For each remaining question, it generates programs conditioned on two plausible answers and checks for stable behavioral differences on shared inputs. It then uses the interaction history to select among qualified questions or stop asking. Experiments on ClarifyCodeBench show that CONTRA achieves the highest F1 with all four coding agents, exceeding the best baseline macro-average F1 by 13.88 percentage points. With the same LLM and evaluation protocol, CONTRA also achieves higher clarification recall and F1 than the coding harnesses Claude Code and OpenHands. To support practical use, we also implement CONTRA as a Claude Code plugin that integrates selective clarification into everyday development.
• Abstract（参考訳）: コーディングエージェントは正しいように見えるコードを生成することができるが、ユーザが意図しなかった振る舞いを実装する。 このミスマッチは、エージェントが自身の仮定で未特定要件を静かに解決するときに生じる。 その後の開発がこれらの前提に基づいて行われるようになると、結果として生じる振る舞いの修正はますますコストがかかります。 初期の明確化はこのようなミスマッチを防ぐのに役立ちますが、不要な質問は開発者を中断させ、開発を遅らせます。 既存の方法は、不要な問題を避けながら、重要な明確化の問題を特定するのに苦労している。 そこで本研究では,広範囲な質問発見とセマンティックおよび実行に基づく質問資格を組み合わせた,トレーニング不要な手法であるCONTRAを提案する。 CONTRAはまず、候補者の質問を生成し、要求された振る舞いと関係のないものや、要求によって既に解決されているものをフィルタリングする。 残りの質問に対して、2つのもっともらしい回答に条件付けされたプログラムを生成し、共有された入力に対する安定した行動差をチェックする。 その後、インタラクション履歴を使用して、資格のある質問の中から選択したり、質問をやめたりする。 ClarifyCodeBenchの実験によると、CONTRAは4つのコーディングエージェント全てで最高F1を達成し、ベースラインのマクロ平均F1を13.88ポイント上回っている。 同じLCMと評価プロトコルで、CONTRAはClaude CodeとOpenHandsのコーディングハーネスよりも高い明確化リコールとF1を実現している。 また,Claude CodeプラグインとしてConTRAを実装し,日常的な開発に選択的明確化を統合する。

関連論文リスト

• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• Position: Vibe Coding Needs Vibe Reasoning: Improving Vibe Coding with Formal Verification [0.0]
  これらの落とし穴は、バイブ符号化中に人間に課された制約を和らげることのできないLSMが原因である、と我々は主張する。 1emphAutoformalizes Specification against target, (2) Delivers emphactionable feedback to the LLM, and (4) allows intuitive developer influence on Specification。
  論文  参考訳（メタデータ） (2025-10-31T19:01:37Z)
• Curiosity by Design: An LLM-based Coding Assistant Asking Clarification Questions [4.2689345057164205]
  この作業は、人間のコードレビュープロセスを模倣するLLMベースのコーディングアシスタントを構築することを目的としている。 エンドツーエンドシステムには,(1)不明瞭なプログラミング関連クエリを検出するために訓練されたクエリ,(2)明確化質問を生成する微調整LDMが含まれている。
  論文  参考訳（メタデータ） (2025-07-28T19:10:57Z)
• Can Code Language Models Learn Clarification-Seeking Behaviors? [4.788534218705066]
  ClarifyCoderは,合成データ生成と命令調整を行うフレームワークである。 ClarifyCoderは,あいまいなタスクに対して,コミュニケーション率63%,質問率52%を達成した。
  論文  参考訳（メタデータ） (2025-04-23T00:34:39Z)
• KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
  KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。 自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。 このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:36Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code [0.7252027234425334]
  大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。 LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。 本稿では,LLM生成コミュニケータを用いて,問題記述や生成されたコードに対する曖昧さや信頼性の低い問題を識別する通信中心プロセスを提案する。
  論文  参考訳（メタデータ） (2023-08-25T17:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。