論文の概要: Accelerating Discovery: Rapid Literature Screening with LLMs

• arxiv url: http://arxiv.org/abs/2509.13103v1
• Date: Tue, 16 Sep 2025 14:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.116632
• Title: Accelerating Discovery: Rapid Literature Screening with LLMs
• Title（参考訳）: 発見を加速する - LLMによる高速文学スクリーニング
• Authors: Santiago Matalonga, Domenico Amalfitano, Jean Carlo Rossa Hauck, Martín Solari, Guilherme H. Travassos,
• Abstract要約: 研究者は、しばしばスパース情報を含む多数の非構造化ソースをレビューし、フィルタリングする必要がある。 文書の検索とフィルタリングを支援するLarge Language Model (LLM) アシスタントを開発した。
• 参考スコア（独自算出の注目度）: 1.2586771241101986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Conducting Multi Vocal Literature Reviews (MVLRs) is often time and effort-intensive. Researchers must review and filter a large number of unstructured sources, which frequently contain sparse information and are unlikely to be included in the final study. Our experience conducting an MVLR on Context-Aware Software Systems (CASS) Testing in the avionics domain exemplified this challenge, with over 8,000 highly heterogeneous documents requiring review. Therefore, we developed a Large Language Model (LLM) assistant to support the search and filtering of documents. Aims: To develop and validate an LLM based tool that can support researchers in performing the search and filtering of documents for an MVLR without compromising the rigor of the research protocol. Method: We applied sound engineering practices to develop an on-premises LLM-based tool incorporating Retrieval Augmented Generation (RAG) to process candidate sources. Progress towards the aim was quantified using the Positive Percent Agreement (PPA) as the primary metric to ensure the performance of the LLM based tool. Convenience sampling, supported by human judgment and statistical sampling, were used to verify and validate the tool's quality-in-use. Results: The tool currently demonstrates a PPA agreement with human researchers of 90% for sources that are not relevant to the study. Development details are shared to support domain-specific adaptation of the tool. Conclusions: Using LLM-based tools to support academic researchers in rigorous MVLR is feasible. These tools can free valuable time for higher-level, abstract tasks. However, researcher participation remains essential to ensure that the tool supports thorough research.
• Abstract（参考訳）: 背景: Multi Vocal Literature Reviews (MVLRs) の実行は時間と労力がかかることが多い。 研究者は、スパース情報を頻繁に含んでいて、最終研究には含まれない、多数の未構造化ソースをレビューし、フィルタリングする必要がある。 MVLR on Context-Aware Software Systems (CASS) Testing in the avionics domainは、この課題を実証した。 そこで我々は,文書の検索とフィルタリングを支援するLarge Language Model (LLM) アシスタントを開発した。 Aims:研究プロトコルの厳格性を損なうことなく,MVLR用文書の検索・フィルタリングを行う研究者を支援するLLMベースのツールを開発し,検証する。 方法: 提案手法は, 音声工学の実践を, 検索拡張生成(RAG)を組み込んだオンプレミスLLMツールの開発に応用した。 LLM ベースのツールの性能を確保するため,PPA (Positive Percent Agreement) を主指標として目的の進捗を定量化した。 人間の判断と統計的サンプリングによって支えられた便宜サンプリングは、ツールの品質・イン・ユースを検証するために使用された。 結果:このツールは現在,研究に関係のない情報源の90%がヒト研究者とPPA協定を締結している。 開発の詳細は、ツールのドメイン固有の適応をサポートするために共有される。 結論: 厳格なMVLRにおける学術研究者を支援するためにLLMベースのツールを使用することは実現可能である。 これらのツールは、高レベルで抽象的なタスクに貴重な時間を解放することができる。 しかし、このツールが徹底的な研究を支援するためには、研究者の参加が不可欠である。

関連論文リスト

• Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning [63.31585771716123]
  大言語モデル(LLM)は、大規模強化学習(RL)を通じて顕著な推論能力を示した。 ステップワイズ推論中に複数の外部ツールを自律的に呼び出すLLベースのフレームワークであるTool-Starを紹介する。 Tool-Starは6種類のツールを統合し、データ合成とトレーニングの両方に体系的な設計を取り入れている。
  論文  参考訳（メタデータ） (2025-05-22T09:00:19Z)
• A Framework for Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
  大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。 私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。 この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-15T06:08:57Z)
• From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions [60.733557487886635]
  本稿では,大規模言語モデルと外部ツールとの包括的ギャップを埋めることに焦点を当てる。 動的精錬ツールの文書化を目的とした新しいフレームワーク DRAFT を提案する。 この方法論は、3つの異なる学習フェーズからなる革新的な試行錯誤アプローチに基づいている。
  論文  参考訳（メタデータ） (2024-10-10T17:58:44Z)
• SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews [0.4915744683251149]
  本稿では,SLRの効率向上をクラウドソーシングするために,SWARM-SLR(Streamlined Automation for Machine-actionable Systematic Literature Reviews)を提案する。 文献のガイドラインでは、計画からレビューの報告まで、65の要件で構成されています。 既存のツールはこれらの要件に対して評価され、SWARM-SLRワークフローのプロトタイプとして合成された。
  論文  参考訳（メタデータ） (2024-07-26T10:46:14Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。