論文の概要: Predicting LLM Performance from Prompt Linguistic Features: An Empirical Study in Requirements Engineering

• arxiv url: http://arxiv.org/abs/2608.27621v1
• Date: Thu, 27 Aug 2026 19:02:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.118853
• Title: Predicting LLM Performance from Prompt Linguistic Features: An Empirical Study in Requirements Engineering
• Title（参考訳）: 素早い言語的特徴からLLM性能を予測する:要求工学における実証的研究
• Abstract要約: 言語的特徴は、すべてのターゲットにおける迅速なパフォーマンスを著しく予測する。 クロスLLM予測器は、複合依存性分布、接続密度、単語/文長を含む。
• 参考スコア（独自算出の注目度）: 5.806534256425491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background. LLM outputs are highly sensitive to prompt formulation: small wording changes can substantially affect output quality. This matters in software engineering, where prompts guide requirements analysis, code generation, and artefact synthesis. Poor formulations yield unreliable artefacts, yet practitioners lack principled ways to assess a prompt before inference, making selection depend on costly LLM calls and trial-and-error refinement. Aims. We investigate whether measurable linguistic properties of prompts can predict LLM performance before inference, enabling low-cost prompt selection and refinement, validated on binary requirements classification targeting F1, F2, precision, and recall. Method. We generate 9,000 linguistically controlled prompt variants from 100 initial prompts by varying 30 linguistic metrics, evaluated with five open-source LLMs on 625 annotated requirements. Regression predictors are trained via stratified 10-fold cross-validation with permutation-based significance testing; feature importance analysis identifies cross-LLM and model-specific predictors. Results. Linguistic features significantly predict prompt performance across all targets (R2 in [0.38,0.42], q<0.05). Syntactic and morphosyntactic features drive most predictive signal; cross-LLM predictors include compound dependency distribution, conjunction density, and word/sentence length, reflecting sensitivity to domain vocabulary and complex structures. Conclusions. Results suggest practical implications for prompt engineering, including overlap between linguistic patterns that reduce LLM performance and those that increase human comprehension difficulty, and the irrelevance of lexical variety as a quality dimension. More broadly, linguistic profiling combined with standard regression provides an effective, interpretable, low-cost prior before costly optimisation pipelines.
• Abstract（参考訳）: 背景。 LLMの出力は、高速な定式化に非常に敏感である。 これは、要件分析、コード生成、アーティファクト合成をガイドするソフトウェアエンジニアリングにおいて重要である。 粗悪な定式化は信頼性の低い人工物を生み出すが、実践者は推論の前にプロンプトを評価するための原則的な方法が欠如しており、選択は高価なLCM呼び出しと試行錯誤の洗練に依存している。 エイムズ。 提案手法は,F1,F2,精度,リコールをターゲットとした二項要求分類に基づいて,提案手法の言語特性を推定し,低コストのプロンプト選択と改善を可能にした。 方法。 625 のアノテート要件に基づいて 5 つのオープンソース LLM を用いて評価し,初期プロンプトから 9000 個の言語的に制御されたプロンプト変種を生成する。 回帰予測器は、置換に基づく重要度テストによる層状10倍のクロスバリデーションによって訓練される。 結果。 言語的特徴は、すべての目標([0.38,0.42], q<0.05)におけるR2のプロンプト性能を著しく予測する。 シンタクティックおよびモルフォシンタクティックな特徴は、最も予測的なシグナルを駆動し、クロスLLM予測子は、複合依存分布、結合密度、単語/文の長さを含み、ドメインの語彙や複雑な構造に対する感度を反映している。 結論。 結果から,LLM性能を低下させる言語パターンと,人間の理解困難を増大させる言語パターンの重複や,品質次元としての語彙変数の無関係など,迅速なエンジニアリングの実践的意義が示唆された。 より広範に、言語プロファイリングと標準回帰を組み合わせることで、コストのかかる最適化パイプラインの前に、効果的で解釈可能な低コストで提供できる。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies [0.9867902290081937]
  検索強化生成のような大規模言語モデル(LLM)アプリケーションでは,根拠付きクレームの事実性チェックが重要である。 本報告では, 根拠付き事実性チェックを真偽読解タスクとして定式化することによって, この問題に対処する。 本手法は未案内のオープンエンド推論と比較してトークン使用率を80%以上削減する。
  論文  参考訳（メタデータ） (2026-05-28T10:11:42Z)
• Optimizing LLM Prompt Engineering with DSPy Based Declarative Learning [0.0]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて、高いパフォーマンスを示している。 それらの効果は、素早い設計、構造、組込み推論に大きく依存している。 本稿では,DSPyに基づく宣言型学習の体系的研究を行い,迅速な最適化を提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:17:57Z)
• From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs [48.83701310501069]
  大規模言語モデル(LLM)は、コード合成において顕著な性能を達成した。 本稿では,LLMが最適変換を自律的に設計できる性能対応クローズドループソリューションを提案する。 6,000以上のPyTorch拡張関数を実験的に評価した新しいリポジトリ上で,低ランク適応型LPMを微調整する。
  論文  参考訳（メタデータ） (2026-01-07T11:13:02Z)
• Context-Adaptive Requirements Defect Prediction through Human-LLM Collaboration [1.4499356176178066]
  本稿では,欠陥予測を静的な分類タスクではなく適応プロセスとして扱うHuman-LLM Collaboration(HLC)アプローチを提案する。 メルセデス・ベンツの要求条件である1,266のQuREベンチマークの弱い単語の匂いを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2026-01-05T10:00:14Z)
• Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
  本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。 我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。 正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:22:22Z)
• Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
  我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。 我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。 合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
  論文  参考訳（メタデータ） (2025-06-20T13:21:14Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。