論文の概要: Are Prompts All You Need? Evaluating Prompt-Based Large Language Models (LLM)s for Software Requirements Classification

• arxiv url: http://arxiv.org/abs/2509.13868v1
• Date: Wed, 17 Sep 2025 09:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.814032
• Title: Are Prompts All You Need? Evaluating Prompt-Based Large Language Models (LLM)s for Software Requirements Classification
• Title（参考訳）: Prompts all you need? Prompt-based Large Language Models (LLM) の評価
• Authors: Manal Binkhonain, Reem Alfayaz,
• Abstract要約: 本研究は,プロンプトベースの大規模言語モデルがデータニーズを低減できるかどうかを検証する。 PMISEとSecReqという2つの英語データセット上で、複数のタスクにまたがる複数のモデルとスタイルをベンチマークする。
• 参考スコア（独自算出の注目度）: 1.1458853556386799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Requirements classification assigns natural language requirements to predefined classes, such as functional and non functional. Accurate classification reduces risk and improves software quality. Most existing models rely on supervised learning, which needs large labeled data that are costly, slow to create, and domain dependent; they also generalize poorly and often require retraining for each task. This study tests whether prompt based large language models can reduce data needs. We benchmark several models and prompting styles (zero shot, few shot, persona, and chain of thought) across multiple tasks on two English datasets, PROMISE and SecReq. For each task we compare model prompt configurations and then compare the best LLM setups with a strong fine tuned transformer baseline. Results show that prompt based LLMs, especially with few shot prompts, can match or exceed the baseline. Adding a persona, or persona plus chain of thought, can yield further gains. We conclude that prompt based LLMs are a practical and scalable option that reduces dependence on large annotations and can improve generalizability across tasks.
• Abstract（参考訳）: 要求分類は、関数型や非関数型などの事前定義されたクラスに自然言語要求を割り当てる。 正確な分類はリスクを減らし、ソフトウェアの品質を改善する。 既存のモデルの多くは教師付き学習に依存しており、コストがかかり、作成が遅く、ドメインに依存している大きなラベル付きデータを必要とする。 本研究は,プロンプトベースの大規模言語モデルがデータニーズを低減できるかどうかを検証する。 いくつかのモデルとスタイル(ゼロショット、少数ショット、ペルソナ、思考の連鎖)を、PROMISEとSecReqという2つの英語データセット上の複数のタスクでベンチマークする。 各タスクについて、モデルプロンプト構成を比較し、最適なLCMセットアップと強力な微調整変換器ベースラインを比較します。 その結果、プロンプトベースのLLM、特にショットプロンプトが少ない場合には、ベースラインにマッチまたはオーバーできることが示されている。 ペルソナ、あるいはペルソナと思考の連鎖を加えることで、さらなる利益が得られる。 我々は、プロンプトベースのLLMは、大規模なアノテーションへの依存を減らし、タスク間の一般化性を向上させる、実用的でスケーラブルなオプションである、と結論付けている。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Entity Matching using Large Language Models [3.7277730514654555]
  本稿では, PLM ベースのマーカに代わる, タスク固有の訓練データ依存モデルとして, LLM (Generative Large Language Model) を用いて検討する。 GPT4は一致判定のための構造化された説明を生成でき、一致した誤りの原因を自動的に特定できることを示す。
  論文  参考訳（メタデータ） (2023-10-17T13:12:32Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。