論文の概要: When Prompts Go Wrong: Evaluating Code Model Robustness to Ambiguous, Contradictory, and Incomplete Task Descriptions

• arxiv url: http://arxiv.org/abs/2507.20439v1
• Date: Sun, 27 Jul 2025 23:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.677797
• Title: When Prompts Go Wrong: Evaluating Code Model Robustness to Ambiguous, Contradictory, and Incomplete Task Descriptions
• Title（参考訳）: Promptsが間違っているとき: コードモデルロバストネスを曖昧、矛盾、不完全なタスク記述に評価する
• Authors: Maya Larbi, Amal Akli, Mike Papadakis, Rihab Bouyousfi, Maxime Cordy, Federica Sarro, Yves Le Traon,
• Abstract要約: LLM(Large Language Models)は、理想的な条件下でのコード生成タスクの性能を示す。 実際には、タスク記述はしばしば曖昧さ、不完全性、内部矛盾を示す。 このような不明瞭なタスク記述に直面した場合、最先端のコード生成モデルの堅牢性を検証した最初の実証的研究を示す。
• 参考スコア（独自算出の注目度）: 23.5858385520752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive performance in code generation tasks under idealized conditions, where task descriptions are clear and precise. However, in practice, task descriptions frequently exhibit ambiguity, incompleteness, or internal contradictions. In this paper, we present the first empirical study examining the robustness of state-of-the-art code generation models when faced with such unclear task descriptions. We extend the HumanEval and MBPP benchmarks by systematically introducing realistic task descriptions flaws through guided mutation strategies, producing a dataset that mirrors the messiness of informal developer instructions. We evaluate multiple LLMs of varying sizes and architectures, analyzing their functional correctness and failure modes across task descriptions categories. Our findings reveal that even minor imperfections in task description phrasing can cause significant performance degradation, with contradictory task descriptions resulting in numerous logical errors. Moreover, while larger models tend to be more resilient than smaller variants, they are not immune to the challenges posed by unclear requirements. We further analyze semantic error patterns and identify correlations between description clarity, model behavior, and error types. Our results underscore the critical need for developing LLMs that are not only powerful but also robust to the imperfections inherent in natural user tasks, highlighting important considerations for improving model training strategies, designing more realistic evaluation benchmarks, and ensuring reliable deployment in practical software development environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスク記述が明確で正確である理想化された条件下でのコード生成タスクにおいて、印象的なパフォーマンスを示している。 しかし実際には、タスク記述は曖昧さ、不完全性、内部矛盾をしばしば示している。 本稿では,このような不明瞭なタスク記述に直面した場合に,最先端のコード生成モデルの堅牢性を検証した最初の実証的研究について述べる。 我々はHumanEvalとMBPPベンチマークを拡張し、ガイド付き突然変異戦略を通じて現実的なタスク記述欠陥を体系的に導入し、非公式な開発者指示の混乱を反映したデータセットを作成します。 タスク記述のカテゴリ間で機能的正しさと障害モードを解析し,サイズやアーキテクチャの異なる複数のLCMを評価した。 これらの結果から,タスク記述に欠陥が生じた場合であっても,タスク記述に矛盾が生じ,多くの論理的誤りが生じるという結果が得られた。 さらに、より大型のモデルはより小型のモデルよりも弾力性が高い傾向にあるが、不明確な要求によって生じる課題には免疫しない。 さらに、意味的エラーパターンを分析し、記述明快さ、モデル行動、エラータイプ間の相関関係を同定する。 我々の結果は、強力なだけでなく、自然のユーザタスクに固有の不完全性にも頑健なLSMを開発するための重要な必要性を強調し、モデルトレーニング戦略の改善、より現実的な評価ベンチマークの設計、実用的なソフトウェア開発環境における信頼性の高いデプロイメントの確保に重要な考慮点を浮き彫りにした。

関連論文リスト

• Revisiting Pre-trained Language Models for Vulnerability Detection [5.747350434960454]
  プレトレーニング言語モデル(PLM)の急速な進歩は、様々なコード関連タスクに対して有望な結果を示した。 しかし、現実世界の脆弱性を検出する効果は依然として重要な課題である。 本稿では、より小さなコード固有のPLMと大規模PLMにまたがる17のPLMを広範囲に評価するRevisitVDを紹介する。
  論文  参考訳（メタデータ） (2025-07-22T17:58:49Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [65.48902212293903]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• Reasoning Multimodal Large Language Model: Data Contamination and Dynamic Evaluation [9.434966074326056]
  MLLM(Multimodal Large Language Models)は、視覚ベースのベンチマーク性能を示すが、真の一般化を隠蔽するデータ汚染リスクへの懸念が増大している。 静的ベンチマークを超えてMLLMの一般化を厳格に評価する新しい動的評価フレームワークを提案する。 シミュレーションテストデータ(極端汚染)の微調整はタスク固有の性能を大幅に向上させるが、全体的な一般化には悪影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2025-06-08T15:52:38Z)
• LLM Performance for Code Generation on Noisy Tasks [0.41942958779358674]
  大規模言語モデル(LLM)は、テキストが人間の読み手には理解できないレベルまで難解なタスクを解くことができることを示す。 汚染されたデータセットと目に見えないデータセットの異なる性能劣化パターンの実証的証拠を報告する。 そこで本研究では, 難燃化下での性能低下を, データセット汚染検出の可能な戦略として提案する。
  論文  参考訳（メタデータ） (2025-05-29T16:11:18Z)
• Statistical Runtime Verification for LLMs via Robustness Estimation [0.0]
  ランタイムクリティカルなアプリケーションにLLM(Large Language Models)を安全にデプロイするためには、逆の堅牢性検証が不可欠である。 ブラックボックス配置環境におけるLCMのオンライン実行時ロバスト性モニタとしての可能性を評価するために,RoMA統計検証フレームワークを適応・拡張するケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-04-24T16:36:19Z)
• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。