論文の概要: Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality

• arxiv url: http://arxiv.org/abs/2608.20349v1
• Date: Tue, 16 Jun 2026 02:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.276165
• Title: Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality
• Title（参考訳）: プロンプト工学を超えて:プロンプト語彙感受性の体系的分析と品質への影響
• Abstract要約: 大型言語モデル (LLM) は、表面レベルのプロンプト変動に対して極めて敏感である。 我々は,13万2000種類のプロンプト変種からなるデータセットを利用して,プロンプト安定の大規模,n-gramトークンレベルのメカニスティック解析を行った。
• 参考スコア（独自算出の注目度）: 25.274859169626392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) exhibit extreme sensitivity to surface-level prompt variations, in which minor lexical changes can trigger disproportionate performance fluctuations. Moving beyond black-box optimization and coarse-grained templates, we present the first large-scale, n-gram token-level mechanistic analysis of prompt stability, leveraging a dataset of 132,000 prompt variants. Our investigation reveals a fundamental Scaling Law of Prompt Performance Stability: higher average task performance is strongly associated with lower variance and greater robustness across prompt perturbation. We identify two core linguistic drivers underlying this robustness: (1) Domain-Specific Terminology, which tightly anchors semantic boundaries, and (2) Explicit Action Directives, which formalize reasoning trajectories. Together, these elements constrain the model's interpretative space, effectively ``locking in'' more deterministic generation behavior. Building on these insights, we introduce an automated Prompt-Refining Agent that systematically restructures input queries by injecting domain anchoring and operational constraints. Empirical evaluation shows that our approach reduces performance variance by 40.7% in code generation task, while preserving or improving mean performance. These findings provide a statistically grounded and mechanistically interpretable framework for achieving robust prompt engineering.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、表面レベルのプロンプト変動に対して極端に敏感であり、小さな語彙の変化が不均等な性能変動を引き起こす可能性がある。 ブラックボックス最適化と粗粒度テンプレートを超えて、我々は132,000のプロンプト変種からなるデータセットを利用して、プロンプト安定性の大規模、n-gramトークンレベルの機械的解析を行う。 高い平均タスク性能は、急激な摂動にまたがって、より低い分散とより強いロバスト性に強く関係している。 このロバスト性の根底にある2つの中核的言語的要因を同定する。(1)意味的境界をしっかりと固定するドメイン特化用語と(2)推論軌道を形式化する明示的行動指示である。 これらの要素は、モデルの解釈空間を制約し、より決定論的な生成の振る舞いを効果的に『locking in』する。 これらの知見に基づいて,ドメインアンカリングと運用上の制約を注入することにより,入力クエリを体系的に再構築する自動プロンプト精錬エージェントを導入する。 経験的評価は,コード生成タスクにおいて,平均性能を保留または改善しながら,性能のばらつきを40.7%低減することを示す。 これらの知見は、堅牢な迅速なエンジニアリングを実現するための統計的基盤と機械的解釈可能なフレームワークを提供する。

関連論文リスト

• Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds [0.0]
  大規模言語モデル(LLM)は受動的でサイコファンティックなアシスタントとして機能するように主に整列されている。 我々は,高周波質問生成を特徴とする,活発でソクラティックな対話型枠組みを創出する。 これらの知見は、計算効率が高く、言語横断的な行動修正のための厳密な経験的枠組みを確立した。
  論文  参考訳（メタデータ） (2026-08-13T10:33:00Z)
• The Curse of Helpfulness: Inverse Scaling Law in Robustness to Distractor Instructions via DistractionIF [19.923694743124475]
  大規模言語モデル (LLM) は、エージェントおよび検索強化世代 (RAG) システムにますます多くデプロイされている。 実際には、そのような文脈は、しばしば非構造化され、良性だが命令のようなセマンティックノイズで汚染される。 本稿では、参照テキストにおけるそのような注意散らし命令に対する堅牢性を評価するためのベンチマークであるDistractionIFを紹介する。
  論文  参考訳（メタデータ） (2026-05-28T07:18:15Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing [77.75609817898035]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的なパフォーマンスを示してきたが、有害なコンテンツの生成には弱いままである。 textscAutoregressive textscReward textscGuided textscRe presentation textscEditing (ARGRE)を提案する。 ARGREは遅延表現空間内の毒性遷移を明示的にモデル化し、安定かつ正確な報酬誘導編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-24T03:40:32Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
  PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。 我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
  論文  参考訳（メタデータ） (2024-12-24T06:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。