論文の概要: A Taxonomy of Prompt Defects in LLM Systems

• arxiv url: http://arxiv.org/abs/2509.14404v1
• Date: Wed, 17 Sep 2025 20:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:52.964434
• Title: A Taxonomy of Prompt Defects in LLM Systems
• Title（参考訳）: LLMシステムにおけるプロンプト欠陥の分類
• Authors: Haoye Tian, Chong Wang, BoYang Yang, Lyuye Zhang, Yang Liu,
• Abstract要約: 大規模言語モデル(LLM)は現代のソフトウェアの主要なコンポーネントとなっている。 小さなミスは、信頼できない、安全でない、あるいは非効率な振る舞いにカスケードする。 本稿では,早期欠陥の系統調査と分類について紹介する。
• 参考スコア（独自算出の注目度）: 13.177777446130712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become key components of modern software, with prompts acting as their de-facto programming interface. However, prompt design remains largely empirical and small mistakes can cascade into unreliable, insecure, or inefficient behavior. This paper presents the first systematic survey and taxonomy of prompt defects, recurring ways that prompts fail to elicit their intended behavior from LLMs. We organize defects along six dimensions: (1) Specification and Intent, (2) Input and Content, (3) Structure and Formatting, (4) Context and Memory, (5) Performance and Efficiency, and (6) Maintainability and Engineering. Each dimension is refined into fine-grained subtypes, illustrated with concrete examples and root cause analysis. Grounded in software engineering principles, we show how these defects surface in real development workflows and examine their downstream effects. For every subtype, we distill mitigation strategies that span emerging prompt engineering patterns, automated guardrails, testing harnesses, and evaluation frameworks. We then summarize these strategies in a master taxonomy that links defect, impact, and remedy. We conclude with open research challenges and a call for rigorous engineering-oriented methodologies to ensure that LLM-driven systems are dependable by design.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現代のソフトウェアの主要なコンポーネントとなり、プロンプトはデファクトプログラミングインターフェースとして機能している。 しかし、迅速な設計は大半が経験的であり、小さなミスは信頼できない、安全でない、あるいは非効率な振る舞いへとカスケードすることができる。 本稿では,LPMから意図した行動を引き出すのに失敗する素早い欠陥に対する最初の体系的調査と分類について述べる。 1)仕様と意図,(2)入力と内容,(3)構造とフォーマッティング,(4)コンテキストと記憶,(5)パフォーマンスと効率,(6)メンテナンス性とエンジニアリングの6つの側面に沿って欠陥を整理する。 各次元は細粒度のサブタイプに洗練され、具体例と根本原因分析で示される。 ソフトウェアエンジニアリングの原則に基づいて、これらの欠陥が実際の開発ワークフローにどのように表れているかを示し、下流の効果を調べます。 あらゆるサブタイプに対して、急激なエンジニアリングパターン、自動ガードレール、テストハーネス、評価フレームワークにまたがる緩和戦略を精査します。 そして、これらの戦略を、欠陥、影響、治療を結びつけるマスターな分類法で要約します。 オープンな研究課題と厳密なエンジニアリング指向の方法論によって,LLM駆動型システムが設計に頼っていることを保証する。

関連論文リスト

• Are We SOLID Yet? An Empirical Study on Prompting LLMs to Detect Design Principle Violations [0.17464576727343348]
  本稿では,4つのLLM-CodeLlama,DeepSeekCoder,QwenCoder,GPT-4o Miniのベンチマークを示す。 我々は、確立されたゼロショット、少数ショット、およびチェーンオブ思考技術にインスパイアされた4つの異なるプロンプト戦略をテストする。 迅速な戦略は劇的な影響を持つが、単一の戦略が普遍的に最善であることを示す。
  論文  参考訳（メタデータ） (2025-09-03T07:48:38Z)
• Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
  本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。 このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。 以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
  論文  参考訳（メタデータ） (2025-05-12T14:05:23Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。