論文の概要: Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development

• arxiv url: http://arxiv.org/abs/2610.13022v1
• Date: Fri, 09 Oct 2026 05:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.405467
• Title: Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
• Title（参考訳）: Don't Guess, just Ask: Repository-Levelソフトウェア開発におけるインタラクティブな要求明確化の評価
• Abstract要約: ReqBenchは、リポジトリレベルのソフトウェア開発のための対話型要求明確化ベンチマークである。 ゲーム、ミニアプリ、Web開発にまたがる341のタスクが含まれており、それぞれが曖昧なユーザ意図、人間公認の要件文書、コード評価アーティファクトを持っている。 我々は,6つのLCMを,要求文書の品質と明確化の有効性の観点から評価した。
• 参考スコア（独自算出の注目度）: 10.7739031447517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs become increasingly capable of implementing software, a critical bottleneck emerges: whether they truly understand what users want. Users often begin with vague intent, leaving important requirements to be clarified through interaction. In repository-level development, misunderstandings can propagate and cause costly rework. However, existing benchmarks typically evaluate implementation from complete specifications or underspecified requests, overlooking pre-coding requirement clarification. Prior clarification studies mainly focus on function-level tasks. It therefore remains unclear how well LLMs can transform vague intent into clear requirements through interaction and how this capability affects subsequent code generation. We introduce ReqClarifyBench, an interactive requirement clarification benchmark for repository-level software development. It contains 341 tasks spanning game, miniapp, and web development, each with a vague user intent, a human-validated requirement document, and code evaluation artifacts. We employ LLM-based user simulators with diverse personas derived from real-world conversations. We evaluate six LLMs in terms of clarification effectiveness and generated requirement document quality. Results show that stronger clarification effectiveness does not necessarily translate into higher document quality, and performance varies substantially across user personas. We also find that coding-agent harnesses do not further improve requirement document quality compared with their base LLMs. These findings offer insights for building LLM-based end-to-end software development systems.
• Abstract（参考訳）: LLMがソフトウェアを実装する能力が増すにつれて、ユーザが何を望んでいるのかを本当に理解しているかどうかという、重大なボトルネックが生まれます。 ユーザはしばしば曖昧な意図から始まり、インタラクションを通じて重要な要件を明確にする。 リポジトリレベルの開発では、誤解が伝播し、コストがかかる再作業を引き起こす可能性がある。 しかし、既存のベンチマークは通常、実装を完全な仕様や未特定の要求から評価し、事前コーディング要求の明確化を見越す。 事前の解明研究は主に機能レベルのタスクに焦点を当てている。 したがって、LLMが相互作用を通じて曖昧な意図を明確な要求にどのように変換し、この機能がその後のコード生成にどのように影響するかは、まだ不明である。 ReqClarifyBenchは、リポジトリレベルのソフトウェア開発のための対話型要求明確化ベンチマークである。 ゲーム、ミニアプリ、Web開発にまたがる341のタスクが含まれており、それぞれが曖昧なユーザ意図、人間公認の要件文書、コード評価アーティファクトを持っている。 実世界の会話から派生した多様なペルソナを持つLCMベースのユーザシミュレータを採用。 我々は,6つのLCMを,要求文書の品質と明確化の有効性の観点から評価した。 その結果, より強力な明確化の有効性は必ずしも高い文書品質に変換されないことが明らかとなり, ユーザ・ペルソナ間では性能が著しく異なることが示唆された。 また,コーディングエージェントのハーネスは,基本的なLCMに比べて要求文書の品質が向上しないことがわかった。 これらの発見は、LLMベースのエンドツーエンドソフトウェア開発システムを構築するための洞察を与える。

関連論文リスト

• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models [1.6498033620778052]
  本稿では,3種類のアプリのユーザビリティ関連側面を含む300のユーザレビューのデータセットを提供する。 また、ユーザレビューの理解におけるLLMのパフォーマンスが、人間のレーダのパフォーマンスに匹敵するかどうかも分析する。
  論文  参考訳（メタデータ） (2026-05-12T19:05:04Z)
• Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement [8.059802912761919]
  我々は,大規模言語モデル(LLM)が自然言語要求にマッチするコードの体系的失敗を明らかにする。 より詳細なプロンプト設計、特に説明や修正提案を必要とするものは、より高い誤判定率をもたらす。 そこで本稿では,提案した修正を実効的証拠として扱う固定誘導検証フィルタを提案する。
  論文  参考訳（メタデータ） (2026-02-28T08:35:25Z)
• Uncovering Systematic Failures of LLMs in Verifying Code Against Natural Language Specifications [0.6813925418351435]
  大規模言語モデル(LLM)はソフトウェア開発において不可欠なツールとなり、要求工学、コード生成、レビュータスクに広く利用されている。 本稿では,LLMが自然言語の要求に適合するかどうかを評価する上で,体系的に失敗していることを明らかにする。 以上の結果から,LCMは要件を満たすことのできないコード実装や潜在的な欠陥を含むコード実装を誤って分類することが多いことが判明した。
  論文  参考訳（メタデータ） (2025-08-17T13:07:26Z)
• From Requirements to Code: Understanding Developer Practices in LLM-Assisted Software Engineering [2.2217676348694213]
  我々は、開発者が採用するプロセスと彼らが依存するアーティファクトを説明する理論を提案する。 私たちの研究は、LLMを使用してコードを生成する場合、基本的なRE作業が依然として必要であることを強調しています。
  論文  参考訳（メタデータ） (2025-07-10T08:42:19Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Can Code Language Models Learn Clarification-Seeking Behaviors? [4.788534218705066]
  ClarifyCoderは,合成データ生成と命令調整を行うフレームワークである。 ClarifyCoderは,あいまいなタスクに対して,コミュニケーション率63%,質問率52%を達成した。
  論文  参考訳（メタデータ） (2025-04-23T00:34:39Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。