論文の概要: Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation

• arxiv url: http://arxiv.org/abs/2604.21505v1
• Date: Thu, 23 Apr 2026 10:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.435308
• Title: Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation
• Title（参考訳）: LLMに基づく関数レベルコード生成における要求あいまいさの影響評価
• Authors: Di Yang, Xinou Xie, Xiuwen Yang, Ming Hu, Yihao Huang, Yueling Zhang, Weikai Miao, Ting Su, Chengcheng Wan, Geguang Pu,
• Abstract要約: Orchidは、曖昧な要求で特別に設計された最初のコード生成ベンチマークです。 これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。 この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。
• 参考スコア（独自算出の注目度）: 14.755517753769837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software requirement ambiguity is ubiquitous in real-world development, stemming from the inherent imprecision of natural language and the varying interpretations of stakeholders. While Large Language Models (LLMs) have demonstrated impressive capabilities in generating code from precise specifications, such ambiguity poses a significant obstacle to reliable automated code generation. Existing benchmarks typically assume clear and unambiguous requirements, leaving an empirical gap in understanding how LLMs behave when faced with the inherent uncertainty of real-world software requirements. In this paper, we introduce Orchid, the first code generation benchmark specifically designed with ambiguous requirements. It comprises 1,304 function-level tasks covering four distinct types of ambiguity: lexical, syntactic, semantic, and vagueness. Leveraging this dataset, we conduct the first systematic empirical study to evaluate the impact of requirement ambiguity on LLM-based code generation. Our results demonstrate that ambiguity consistently degrades the performance of all evaluated LLMs, with the most pronounced negative effects observed in highly advanced models. Furthermore, we observe that LLMs frequently produce functionally divergent implementations for the same ambiguous requirement and lack the capability to identify or resolve such ambiguity autonomously. These findings reveal a significant performance gap between clear and ambiguous requirements, underscoring the urgent need for ambiguity-aware techniques in the next generation of automated software engineering tools. The Orchid benchmark is publicly available at https://huggingface.co/datasets/SII-YDD/Orchid.
• Abstract（参考訳）: ソフトウェア要件の曖昧さは、自然言語の本質的な不正確さと利害関係者のさまざまな解釈から起因して、現実世界の開発においてユビキタスである。 大きな言語モデル(LLM)は、正確な仕様からコードを生成するという印象的な能力を示しているが、そのような曖昧さは、信頼性の高い自動コード生成に重大な障害をもたらす。 既存のベンチマークは通常、明確で曖昧な要件を前提としており、実世界のソフトウェア要件の本質的な不確実性に直面している場合、LLMがどのように振る舞うかを理解するための経験的なギャップを残している。 本稿では,不明瞭な要件に特化して設計された最初のコード生成ベンチマークであるOrchidを紹介する。 これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。 このデータセットを活用することで、LCMベースのコード生成に対する要求曖昧性の影響を評価するための、最初の体系的な実証的研究を行う。 この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。 さらに、LLMは、同じ曖昧な要求に対して機能的に異なる実装を頻繁に生成し、そのような曖昧さを自律的に識別または解決する能力が欠如していることが観察された。 これらの知見は、次世代の自動化ソフトウェアエンジニアリングツールにおいて、あいまいさを意識した技術が緊急に必要であることを示す明確な要件とあいまいな要件の間に、大きなパフォーマンスのギャップを浮き彫りにしている。 Orchidベンチマークはhttps://huggingface.co/datasets/SII-YDD/Orchidで公開されている。

関連論文リスト

• METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
  コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。 既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。 私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
  論文  参考訳（メタデータ） (2026-04-13T14:07:11Z)
• Evaluating the Formal Reasoning Capabilities of Large Language Models through Chomsky Hierarchy [62.32144504442516]
  SOTA LLMが形式言語の構造的・階層的複雑性を把握できるかどうかは不明である。 ChomskyBench はchomsky Hierarchy のレンズを通して LLM を体系的に評価するためのベンチマークである。 ChomskyBenchは、各レベルで機能をテストするように設計された、言語認識と生成タスクの包括的なスイートで構成されている。
  論文  参考訳（メタデータ） (2026-04-03T04:06:39Z)
• Bridging Natural Language and Formal Specification--Automated Translation of Software Requirements to LTL via Hierarchical Semantics Decomposition Using LLMs [10.958536923155101]
  Req2LTLは、NLとLinear Temporal Logicをブリッジするモジュラーフレームワークである。 実世界の航空要求に対して88.4%のセマンティック精度と100%の構文的正確性を達成する。
  論文  参考訳（メタデータ） (2025-12-19T08:25:54Z)
• Visualizing token importance for black-box language models [48.747801442240565]
  我々は,ブラックボックスの大規模言語モデル(LLM)を監査して,本運用環境にデプロイした場合に確実に動作させるという課題を考察する。 本稿では,各入力トークンに対する言語モデルの出力の感度を評価するために,分布ベース感性分析(DBSA)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T14:01:43Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• Automated Repair of Ambiguous Problem Descriptions for LLM-Based Code Generation [9.943472604121425]
  自然言語(NL)の曖昧さは、ソフトウェアの品質を損なう可能性がある。 あいまいなNL記述の自動修復を導入する。 このアプローチをSpecFixというツールで実装しています。
  論文  参考訳（メタデータ） (2025-05-12T06:47:53Z)
• Can Code Language Models Learn Clarification-Seeking Behaviors? [4.788534218705066]
  ClarifyCoderは,合成データ生成と命令調整を行うフレームワークである。 ClarifyCoderは,あいまいなタスクに対して,コミュニケーション率63%,質問率52%を達成した。
  論文  参考訳（メタデータ） (2025-04-23T00:34:39Z)
• Aligning Language Models to Explicitly Handle Ambiguity [22.078095273053506]
  我々は,あいまいなクエリを扱うために,言語モデルを整列する新しいパイプラインであるAlignment with Perceived Ambiguity (APA)を提案する。 質問応答データセットの実験結果から、APAはLLMに対して、あいまいなクエリを明示的に検出し、管理する権限を持つことが示された。 我々の発見は、APAがゴールドスタンダードラベルのトレーニング、特にアウト・オブ・ディストリビューションのシナリオで優れていることを証明している。
  論文  参考訳（メタデータ） (2024-04-18T07:59:53Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。