論文の概要: SciLitBench: Benchmark and Design Principles for LLM-Powered Systematic Literature Reviews

• arxiv url: http://arxiv.org/abs/2609.05505v1
• Date: Sat, 29 Aug 2026 00:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.643601
• Title: SciLitBench: Benchmark and Design Principles for LLM-Powered Systematic Literature Reviews
• Title（参考訳）: SciLitBench: LLMによる体系的文献レビューのベンチマークと設計原則
• Abstract要約: SciLitBenchはタイトルと抽象的なスクリーニング、フルテキストのスクリーニング、スキーマ誘導データ抽出のベンチマークである。 6つのモデルファミリーの22以上のオープンウェイトでは、明示的な包含基準と除外基準によりタイトルと抽象的なスクリーニングが28.8%向上した。 データ抽出は、パブリッシュ年で0.97の精度から計算アプローチで0.37のジャカードオーバーラップに性能が低下する。
• 参考スコア（独自算出の注目度）: 11.032420506181259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systematic reviews require sustained human judgment across thousands of records, yet existing evaluations of large language models (LLMs) typically examine review stages in isolation. We introduce SciLitBench, a multi-stage benchmark spanning title and abstract screening, full-text screening, and schema-guided data extraction, with 42,981 retrieved records, 1,012 full texts, and annotations for 888 included papers. Across 22 open-weight LLMs from six model families, explicit inclusion and exclusion criteria improve title and abstract screening $F_2$ by 28.8\%, while researcher-authored rationales improve full-text screening by 15\%. Data extraction reveals a different reliability regime: performance declines from 0.97 accuracy for publication year to 0.37 Jaccard overlap for computational approach, while the strongest models recover only 30\% of annotated evaluation evidence and 25\% of limitations. SciLitBench identifies a practical boundary between high-recall screening and evidence-complete extraction and provides a reproducible resource for evaluating LLM-assisted evidence synthesis.
• Abstract（参考訳）: 体系的なレビューは何千ものレコードにまたがって人間の判断を持続させる必要があるが、大規模言語モデル(LLM)の既存の評価は通常、独立したレビュー段階を検査する。 SciLitBenchは、タイトルと抽象的なスクリーニング、フルテキストのスクリーニング、スキーマ誘導データ抽出にまたがるマルチステージベンチマークであり、42,981レコード、1,012全文、そして888の含まれた論文に対するアノテーションを備えている。 6つのモデルファミリーの22個のオープンウェイトLCMのうち、明示的な包含基準と排他基準はタイトルと抽象的なスクリーニングを28.8 %改善し、研究者による理論的根拠はフルテキストのスクリーニングを15 %改善した。 データ抽出は、出版年度の0.97の精度から計算アプローチの0.37のジャカードオーバーラップへの性能低下と、アノテートされたアノテートされた評価証拠の30倍と制限の25倍しか回復しないという、異なる信頼性体制を明らかにしている。 SciLitBenchは、ハイリコールスクリーニングとエビデンス完全抽出の実践的境界を特定し、LCM支援エビデンス合成を評価するための再現可能な資源を提供する。

関連論文リスト

• PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews [11.032420506181259]
  大規模言語モデル(LLM)とAI対応ソフトウェアは、体系的レビュー決定にますます参加している。 SciLitBenchは、14,726のアノテーションで888のレビュー自動化論文のコーパスである。
  論文  参考訳（メタデータ） (2026-09-10T13:50:10Z)
• LLM-ReSum: A Framework for LLM Reflective Summarization through Self-Evaluation [5.106530060248491]
  7つのデータセットにまたがる14の自動要約メトリクスとLLMに基づく評価器の総合メタ評価を行う。 その結果,従来の語彙重なりの指標(ROUGE,BLEUなど)は,人間の判断と弱いあるいは負の相関を示すことがわかった。 LLMに基づく評価と生成をモデル微調整なしでクローズドフィードバックループで統合する自己反射的要約フレームワーク LLM-ReSum を提案する。
  論文  参考訳（メタデータ） (2026-04-28T14:00:09Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Streamlining Systematic Reviews: A Novel Application of Large Language Models [1.921297555859566]
  体系的レビュー(SR)はエビデンスに基づくガイドラインに不可欠であるが、しばしば文学スクリーニングの時間的な性質によって制限される。 そこで本研究では,大言語モデル(LLM)をベースとした社内システムを提案し,その性能評価を行った。
  論文  参考訳（メタデータ） (2024-12-14T17:08:34Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• The emergence of Large Language Models (LLM) as a tool in literature reviews: an LLM automated systematic review [42.112100361891905]
  本研究では,Large Language Models (LLMs) の科学的レビュー作成過程における使用法を要約することを目的とする。 我々は、現場における現在の最先端の研究プロジェクトを自動化し、評価できるレビューのステージの範囲について検討する。
  論文  参考訳（メタデータ） (2024-09-06T20:12:57Z)
• Automated Review Generation Method Based on Large Language Models [8.86304208754684]
  大規模言語モデル(LLM)に基づく自動レビュー生成手法を提案する。 提案手法は高速に343項目を解析し,LLMアカウント1項目あたり平均秒を計測し,35項目にわたる総合的なレビューを行い,1041項目を拡張分析した。
  論文  参考訳（メタデータ） (2024-07-30T15:26:36Z)
• FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
  本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
  論文  参考訳（メタデータ） (2024-04-01T17:33:38Z)
• Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
  本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。 本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
  論文  参考訳（メタデータ） (2024-01-12T01:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。