論文の概要: Leveraging LLMs for Semi-Automatic Corpus Filtration in Systematic Literature Reviews

• arxiv url: http://arxiv.org/abs/2510.11409v1
• Date: Mon, 13 Oct 2025 13:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.385216
• Title: Leveraging LLMs for Semi-Automatic Corpus Filtration in Systematic Literature Reviews
• Title（参考訳）: システム文献レビューにおける半自動コーパスろ過のためのLCMの活用
• Authors: Lucas Joos, Daniel A. Keim, Maximilian T. Fischer,
• Abstract要約: 本稿では,複数の大規模言語モデル(LLM)を活用し,記述的プロンプトに基づいて論文を分類し,共同で決定するパイプラインを提案する。 プロセス全体は、オープンソースのビジュアルアナリティクスWebインターフェースであるLLMSurverを介して、人間によって管理され、インタラクティブに制御されます。 その結果、パイプラインは、単一アノテータよりもエラー率を低くしながら、手作業を大幅に削減することを示した。
• 参考スコア（独自算出の注目度）: 5.911820207772152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The creation of systematic literature reviews (SLR) is critical for analyzing the landscape of a research field and guiding future research directions. However, retrieving and filtering the literature corpus for an SLR is highly time-consuming and requires extensive manual effort, as keyword-based searches in digital libraries often return numerous irrelevant publications. In this work, we propose a pipeline leveraging multiple large language models (LLMs), classifying papers based on descriptive prompts and deciding jointly using a consensus scheme. The entire process is human-supervised and interactively controlled via our open-source visual analytics web interface, LLMSurver, which enables real-time inspection and modification of model outputs. We evaluate our approach using ground-truth data from a recent SLR comprising over 8,000 candidate papers, benchmarking both open and commercial state-of-the-art LLMs from mid-2024 and fall 2025. Results demonstrate that our pipeline significantly reduces manual effort while achieving lower error rates than single human annotators. Furthermore, modern open-source models prove sufficient for this task, making the method accessible and cost-effective. Overall, our work demonstrates how responsible human-AI collaboration can accelerate and enhance systematic literature reviews within academic workflows.
• Abstract（参考訳）: 体系的文献レビュー(SLR)の作成は,研究分野の景観を分析し,今後の研究方向性を導く上で重要である。 しかしながら、SLRのための文献コーパスの検索とフィルタリングには非常に時間がかかり、デジタル図書館におけるキーワードベースの検索は、しばしば無関係な出版物を返すため、広範囲な手作業が必要となる。 本研究では,複数の大規模言語モデル(LLM)を活用するパイプラインを提案し,記述的プロンプトに基づいて論文を分類し,コンセンサススキームを用いて共同で決定する。 プロセス全体は、オープンソースのビジュアルアナリティクスWebインターフェースであるLLMSurverを通じて、人間によって制御され、対話的に制御されます。 我々は,2024年半ばから2025年秋にかけて,8000以上の候補論文からなる最近のSLRの地中構造データを用いて,オープンおよび商用LLMのベンチマークを行った。 その結果、パイプラインは、単一アノテータよりもエラー率を低くしながら、手作業を大幅に削減することを示した。 さらに、現代のオープンソースモデルは、このタスクに十分適しており、メソッドがアクセス可能でコスト効率が良い。 全体として、我々の研究は、人間とAIの協力が、学術的なワークフローの中で体系的な文献レビューを加速し、向上させる方法を示している。

関連論文リスト

• LiRA: A Multi-Agent Framework for Reliable and Readable Literature Review Generation [66.09346158850308]
  文献レビュープロセスをエミュレートする多エージェント協調ワークフローLiRA(Literature Review Agents)を提案する。 LiRAは、コンテンツアウトライン、サブセクションの執筆、編集、レビュー、コヒーシブで包括的なレビュー記事の作成に特殊エージェントを使用している。 実世界のシナリオにおいて文書検索を用いてLiRAを評価し,そのロバスト性を評価する。
  論文  参考訳（メタデータ） (2025-10-01T12:14:28Z)
• How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
  本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。 言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。 本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
  論文  参考訳（メタデータ） (2025-08-25T06:43:27Z)
• Let's Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper [64.50822834679101]
  SciIGは、タイトル、抽象、および関連する作品からコヒーレントな紹介を生成するLLMの能力を評価するタスクである。 オープンソース (DeepSeek-v3, Gemma-3-12B, LLaMA 4-Maverick, MistralAI Small 3.1) およびクローズドソース GPT-4o システムを含む5つの最先端モデルを評価する。 結果は、特に意味的類似性と忠実性において、ほとんどのメトリクスにおいて、LLaMA-4 Maverickの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-19T21:11:11Z)
• Large Language Models for Automated Literature Review: An Evaluation of Reference Generation, Abstract Writing, and Review Composition [2.048226951354646]
  大規模言語モデル(LLM)は、文学レビューを書くことに関わる複雑なプロセスを自動化するための潜在的な解決策として登場した。 本研究は,文学書記の3つの重要な課題において,LLMの性能を自動評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-18T08:42:25Z)
• Cutting Through the Clutter: The Potential of LLMs for Efficient Filtration in Systematic Literature Reviews [7.355182982314533]
  文献濾過における効率と精度を高めるため,Large Language Models (LLMs) の評価を行った。 オープンソースのツールLLMSurverは、文学的なフィルタリングにLLMを使用するためのビジュアルインターフェースを提供する。 最近のLLMモデルは、フィルタリング時間を数週間から数分に短縮できることを示している。
  論文  参考訳（メタデータ） (2024-07-15T12:13:53Z)
• System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [3.453564255183234]
  体系的文献レビュー(SLR)は証拠に基づく研究の基礎である。 本稿では,SLRの完全自動化を目的とした新しいマルチAIエージェントシステムを提案する。 包括性と精度を維持しつつ,従来のSLRに必要な時間と労力を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-03-13T10:27:52Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
  本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。