論文の概要: Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?

• arxiv url: http://arxiv.org/abs/2610.10633v1
• Date: Wed, 07 Oct 2026 13:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.586706
• Title: Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?
• Title（参考訳）: LLMのスクリーニング性能はソフトウェア工学のシステムレビューで改善したか?
• Abstract要約: 既存のソフトウェアエンジニアリングSRスクリーニングベンチマーク(SESR-Eval)をデータとして使用しました。 また、低コストで評価可能な、より小さなデータセット(SESR-Eval-Mini)もパワーサンプリングしました。 このデータを用いて,8つの新しいLCMのスクリーニング性能を評価した。
• 参考スコア（独自算出の注目度）: 0.8475107963160778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Screening in systematic reviews (SRs) is manual and time-consuming. Prior work has explored large language models (LLMs) for automating this step, but LLMs are evolving rapidly, so earlier performance claims may no longer accurately reflect their screening performance. We used an existing software engineering SR screening benchmark (SESR-Eval) as our data. We also power-sampled a new, smaller dataset (SESR-Eval-Mini) that allows evaluation at lower costs. Using this data, we evaluated eight new LLMs for screening performance. Additionally, we tested different prompts, analyzed LLM agreement in screening decisions and criteria, and examined the effect of refining the inclusion and exclusion criteria on screening performance. The eight new LLMs performed marginally better than the seven old ones: avg. MCC across secondary studies rose from 0.347 to 0.365. Differences between secondary studies are still bigger than between LLMs. Computing the overall screening decision from criterion-level decisions degraded screening performance only slightly. LLMs generally agree with each other in their corresponding screening decisions (mean Gwet's AC1 = 0.830), though certain inclusion and exclusion criteria showed larger disagreement than others. Refining the inclusion and exclusion criteria slightly improved recall and made decisions easier for some LLMs, but overall impacts of criteria refinement were modest. LLMs are not yet ready to replace humans in paper screening and the advantages new, more costly models bring, appear to be very limited. Agent-based approaches, prompt engineering, and further criteria refinement are three potential future research avenues.
• Abstract（参考訳）: 体系的レビュー(SR)のスクリーニングは手作業と時間を要する。 これまでの作業では、このステップを自動化するための大きな言語モデル(LLM)を探索してきたが、LLMは急速に進化している。 既存のソフトウェアエンジニアリングSRスクリーニングベンチマーク(SESR-Eval)をデータとして使用しました。 また、低コストで評価可能な、より小さなデータセット(SESR-Eval-Mini)もパワーサンプリングしました。 このデータを用いて,8つの新しいLCMのスクリーニング性能を評価した。 さらに、異なるプロンプトを試験し、LCM合意をスクリーニング決定と基準で分析し、包括的および排除的基準がスクリーニング性能に与える影響を検討した。 8つの新しいLSMは7つの古いLCMよりわずかに優れていた。 二次研究全体のMCCは0.347から0.365に増加した。 二次研究の違いは LLM よりも大きい。 基準レベルの決定から全体のスクリーニング決定を計算することで、スクリーニングのパフォーマンスはわずかに低下した。 LLMは、通常、対応するスクリーニング決定において互いに同意する(すなわち、GwetのAC1 = 0.830)。 内包基準と排他基準の修正はリコールをわずかに改善し、一部のLCMでは決定が容易になったが、基準修正の全体的な影響は緩やかであった。 LLMは、紙のスクリーニングで人間を置き換える準備が整っておらず、新しいより高価なモデルがもたらす利点は非常に限られているようだ。 エージェントベースのアプローチ、迅速なエンジニアリング、さらなる基準改善は、将来の研究の3つの道である。

関連論文リスト

• Does Model Size Matter? A Comparison of Small and Large Language Models for Requirements Classification [4.681300232651754]
  大規模言語モデル(LLM)は、要求工学(RE)のための自然言語処理(NLP)タスクにおいて顕著な結果を示す。 対照的に、小さな言語モデル(SLM)は軽量でローカルにデプロイ可能な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-24T13:20:30Z)
• SESR-Eval: Dataset for Evaluating LLMs in the Title-Abstract Screening of Systematic Reviews [0.9421843976231371]
  我々は,大言語モデル (LLM) の性能を評価するためのベンチマークデータセットを,体系的レビュー (SR) のタイトル別スクリーニングプロセスで作成する。 ソフトウェア工学(SE)ジャーナルに掲載された24の二次研究から,34,528のラベル付き一次研究を含むSESR-Evalデータセットを提案する。 我々のベンチマークは、ソフトウェア工学におけるSRのスクリーニングタスクにおけるAIパフォーマンスのモニタリングを可能にする。
  論文  参考訳（メタデータ） (2025-07-25T07:27:03Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• The Promise and Challenges of Using LLMs to Accelerate the Screening Process of Systematic Reviews [7.030989629685138]
  LLM(Large Language Models)は、人間のスクリーニングの抽象化を単純化することにより、タイトル・サブトラクションのスクリーニングを高速化する。 我々は,従来のシステムレビューのオリジナルと簡易の2つの要約を用いて,人間が20論文のタイトルと要約をスクリーニングする実験を行った。 また,異なるプロンプト技術 (Zero-shot (ZS), One-shot (OS), Few-shot (FS), Few-shot with Chain-of-Thought (FS-CoT)) がLCMのスクリーニング性能を向上させるかを検討した。
  論文  参考訳（メタデータ） (2024-04-24T05:53:20Z)
• SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses [49.148206387394936]
  モデルでは、初期応答を生成するよりも、以前に生成した代替品間での識別性が確実に向上しないことが示される。 この発見は LLM が自身の判断によってのみ性能を向上させることができるという概念に挑戦する。
  論文  参考訳（メタデータ） (2024-04-04T20:27:37Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。