論文の概要: SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews
- arxiv url: http://arxiv.org/abs/2407.18657v1
- Date: Fri, 26 Jul 2024 10:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:40:43.567626
- Title: SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews
- Title(参考訳): SWARM-SLR - 機械操作可能なシステム文献レビューのためのワークフロー自動化の合理化
- Authors: Tim Wittenborg, Oliver Karras, Sören Auer,
- Abstract要約: 本稿では,SLRの効率向上をクラウドソーシングするために,SWARM-SLR(Streamlined Automation for Machine-actionable Systematic Literature Reviews)を提案する。
文献のガイドラインでは、計画からレビューの報告まで、65の要件で構成されています。
既存のツールはこれらの要件に対して評価され、SWARM-SLRワークフローのプロトタイプとして合成された。
- 参考スコア(独自算出の注目度): 0.4915744683251149
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Authoring survey or review articles still requires significant tedious manual effort, despite many advancements in research knowledge management having the potential to improve efficiency, reproducibility, and reuse. However, these advancements bring forth an increasing number of approaches, tools, and systems, which often cover only specific stages and lack a comprehensive workflow utilizing their task-specific strengths. We propose the Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews (SWARM-SLR) to crowdsource the improvement of SLR efficiency while maintaining scientific integrity in a state-of-the-art knowledge discovery and distribution process. The workflow aims to domain-independently support researchers in collaboratively and sustainably managing the rising scholarly knowledge corpus. By synthesizing guidelines from the literature, we have composed a set of 65 requirements, spanning from planning to reporting a review. Existing tools were assessed against these requirements and synthesized into the SWARM-SLR workflow prototype, a ready-for-operation software support tool. The SWARM-SLR was evaluated via two online surveys, which largely confirmed the validity of the 65 requirements and situated 11 tools to the different life-cycle stages. The SWARM-SLR workflow was similarly evaluated and found to be supporting almost the entire span of an SLR, excelling specifically in search and retrieval, information extraction, knowledge synthesis, and distribution. Our SWARM-SLR requirements and workflow support tool streamlines the SLR support for researchers, allowing sustainable collaboration by linking individual efficiency improvements to crowdsourced knowledge management. If these efforts are continued, we expect the increasing number of tools to be manageable and usable inside fully structured, (semi-)automated literature review workflows.
- Abstract(参考訳): 調査やレビュー記事の執筆には、効率性、再現性、再利用性を向上する可能性を持つ研究知識管理の進歩にもかかわらず、非常に面倒な手作業が必要である。
しかしながら、これらの進歩は、特定のステージのみをカバーすることが多く、タスク固有の強みを利用した包括的なワークフローが欠如している、多くのアプローチ、ツール、システムをもたらす。
本稿では,SLRの効率向上をクラウドソーシングし,最先端の知識発見・流通プロセスにおける科学的整合性を維持しつつ,SLRの効率化を図るための,機械処理可能なシステム文献レビューのための合理化ワークフロー自動化(SWARM-SLR)を提案する。
このワークフローは、成長する学術的知識コーパスを協調的かつ持続的に管理する研究者をドメイン非依存で支援することを目的としている。
文献からガイドラインを合成することにより,計画からレビューの報告まで,65の要件をまとめた。
既存のツールはこれらの要件に対して評価され、SWARM-SLRワークフローのプロトタイプとして合成された。
SWARM-SLRは2つのオンライン調査を通じて評価され、65の要件の妥当性を確認し、11のツールを異なるライフサイクルステージに配置した。
SWARM-SLRワークフローも同様に評価され、SLRのほぼ全域をサポートし、特に検索と検索、情報抽出、知識合成、分散に優れていた。
我々のSWARM-SLR要件とワークフローサポートツールは、研究者のSLRサポートを効率化し、クラウドソースの知識管理に個々の効率改善をリンクすることで、持続可能なコラボレーションを可能にする。
これらの取り組みが継続すれば、完全に構造化された(半自動化された)文献レビューワークフロー内で、管理可能で使用可能なツールの増加を期待します。
関連論文リスト
- CurateGPT: A flexible language-model assisted biocuration tool [0.6425885600880427]
ジェネレーティブAIは、人間主導のキュレーションを支援する新しい可能性を開いた。
CurateGPTはキュレーションプロセスの合理化を図り、共同作業と効率性の向上を図っている。
これにより、キュレーター、研究者、エンジニアがキュレーションの取り組みを拡大し、科学データ量の増加に追随するのに役立つ。
論文 参考訳(メタデータ) (2024-10-29T20:00:04Z) - PROMPTHEUS: A Human-Centered Pipeline to Streamline SLRs with LLMs [0.0]
PROMPTHEUSは、システム文学レビューのためのAI駆動パイプラインソリューションである。
システム検索、データ抽出、トピックモデリング、要約など、SLRプロセスの重要な段階を自動化する。
高い精度を実現し、一貫性のあるトピック組織を提供し、レビュー時間を短縮します。
論文 参考訳(メタデータ) (2024-10-21T13:05:33Z) - From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions [60.733557487886635]
本稿では,大規模言語モデルと外部ツールとの包括的ギャップを埋めることに焦点を当てる。
ツール文書の動的精錬を目的とした新しいフレームワーク DRAFT を提案する。
複数のデータセットに対する大規模な実験は、DRAFTの反復的なフィードバックベースの改善がドキュメントの品質を大幅に改善することを示している。
論文 参考訳(メタデータ) (2024-10-10T17:58:44Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳(メタデータ) (2024-07-07T07:15:49Z) - Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳(メタデータ) (2024-06-19T00:28:58Z) - MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。
評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
論文 参考訳(メタデータ) (2024-05-16T12:40:01Z) - Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。
本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。
その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
論文 参考訳(メタデータ) (2024-04-08T00:08:29Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳(メタデータ) (2024-03-13T10:27:52Z) - WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。
WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。
BrowserGymは、そのようなエージェントの設計と評価のための環境である。
論文 参考訳(メタデータ) (2024-03-12T14:58:45Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳(メタデータ) (2023-11-30T18:02:44Z) - TPTU: Large Language Model-based AI Agents for Task Planning and Tool
Usage [28.554981886052953]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションのための強力なツールとして登場した。
LLMの本質的な生成能力は、その長所にもかかわらず、複雑なタスクを扱うには不十分である。
本稿では,LLMベースのAIエージェントに適した構造化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-07T09:22:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。