論文の概要: SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews
- arxiv url: http://arxiv.org/abs/2407.18657v1
- Date: Fri, 26 Jul 2024 10:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:40:43.567626
- Title: SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews
- Title(参考訳): SWARM-SLR - 機械操作可能なシステム文献レビューのためのワークフロー自動化の合理化
- Authors: Tim Wittenborg, Oliver Karras, Sören Auer,
- Abstract要約: 本稿では,SLRの効率向上をクラウドソーシングするために,SWARM-SLR(Streamlined Automation for Machine-actionable Systematic Literature Reviews)を提案する。
文献のガイドラインでは、計画からレビューの報告まで、65の要件で構成されています。
既存のツールはこれらの要件に対して評価され、SWARM-SLRワークフローのプロトタイプとして合成された。
- 参考スコア(独自算出の注目度): 0.4915744683251149
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Authoring survey or review articles still requires significant tedious manual effort, despite many advancements in research knowledge management having the potential to improve efficiency, reproducibility, and reuse. However, these advancements bring forth an increasing number of approaches, tools, and systems, which often cover only specific stages and lack a comprehensive workflow utilizing their task-specific strengths. We propose the Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews (SWARM-SLR) to crowdsource the improvement of SLR efficiency while maintaining scientific integrity in a state-of-the-art knowledge discovery and distribution process. The workflow aims to domain-independently support researchers in collaboratively and sustainably managing the rising scholarly knowledge corpus. By synthesizing guidelines from the literature, we have composed a set of 65 requirements, spanning from planning to reporting a review. Existing tools were assessed against these requirements and synthesized into the SWARM-SLR workflow prototype, a ready-for-operation software support tool. The SWARM-SLR was evaluated via two online surveys, which largely confirmed the validity of the 65 requirements and situated 11 tools to the different life-cycle stages. The SWARM-SLR workflow was similarly evaluated and found to be supporting almost the entire span of an SLR, excelling specifically in search and retrieval, information extraction, knowledge synthesis, and distribution. Our SWARM-SLR requirements and workflow support tool streamlines the SLR support for researchers, allowing sustainable collaboration by linking individual efficiency improvements to crowdsourced knowledge management. If these efforts are continued, we expect the increasing number of tools to be manageable and usable inside fully structured, (semi-)automated literature review workflows.
- Abstract(参考訳): 調査やレビュー記事の執筆には、効率性、再現性、再利用性を向上する可能性を持つ研究知識管理の進歩にもかかわらず、非常に面倒な手作業が必要である。
しかしながら、これらの進歩は、特定のステージのみをカバーすることが多く、タスク固有の強みを利用した包括的なワークフローが欠如している、多くのアプローチ、ツール、システムをもたらす。
本稿では,SLRの効率向上をクラウドソーシングし,最先端の知識発見・流通プロセスにおける科学的整合性を維持しつつ,SLRの効率化を図るための,機械処理可能なシステム文献レビューのための合理化ワークフロー自動化(SWARM-SLR)を提案する。
このワークフローは、成長する学術的知識コーパスを協調的かつ持続的に管理する研究者をドメイン非依存で支援することを目的としている。
文献からガイドラインを合成することにより,計画からレビューの報告まで,65の要件をまとめた。
既存のツールはこれらの要件に対して評価され、SWARM-SLRワークフローのプロトタイプとして合成された。
SWARM-SLRは2つのオンライン調査を通じて評価され、65の要件の妥当性を確認し、11のツールを異なるライフサイクルステージに配置した。
SWARM-SLRワークフローも同様に評価され、SLRのほぼ全域をサポートし、特に検索と検索、情報抽出、知識合成、分散に優れていた。
我々のSWARM-SLR要件とワークフローサポートツールは、研究者のSLRサポートを効率化し、クラウドソースの知識管理に個々の効率改善をリンクすることで、持続可能なコラボレーションを可能にする。
これらの取り組みが継続すれば、完全に構造化された(半自動化された)文献レビューワークフロー内で、管理可能で使用可能なツールの増加を期待します。
関連論文リスト
- WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳(メタデータ) (2024-07-07T07:15:49Z) - Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳(メタデータ) (2024-06-19T00:28:58Z) - AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。
AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - MarkLLM: An Open-Source Toolkit for LLM Watermarking [59.49254978305491]
MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。
評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
論文 参考訳(メタデータ) (2024-05-16T12:40:01Z) - A Systematic Literature Review on Large Language Models for Automated Program Repair [15.239506022284292]
研究者が現在の成果、課題、潜在的な機会を理解することは困難である。
この研究は、2020年から2024年までのAPRにおけるLarge Language Modelsの応用を要約する最初の体系的な文献レビューを提供する。
論文 参考訳(メタデータ) (2024-05-02T16:55:03Z) - Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。
本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。
その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
論文 参考訳(メタデータ) (2024-04-08T00:08:29Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳(メタデータ) (2024-03-13T10:27:52Z) - WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。
WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。
BrowserGymは、そのようなエージェントの設計と評価のための環境である。
論文 参考訳(メタデータ) (2024-03-12T14:58:45Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - TPTU: Large Language Model-based AI Agents for Task Planning and Tool
Usage [28.554981886052953]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションのための強力なツールとして登場した。
LLMの本質的な生成能力は、その長所にもかかわらず、複雑なタスクを扱うには不十分である。
本稿では,LLMベースのAIエージェントに適した構造化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-07T09:22:03Z) - Iterated Decomposition: Improving Science Q&A by Supervising Reasoning
Processes [1.5701326192371183]
言語モデル(LM)は、エンド・ツー・エンド、隠れた潜在状態、または透明な中間状態の合成のいずれかで複雑な推論を行うことができる。
構成的LMプログラムの開発と精錬を行うためのヒューマン・イン・ザ・ループ・ワークフローである反復分解について述べる。
実世界の3つのタスクに反復分解を適用し,より少ない構成ベースライン上でのLMプログラムの精度を向上させる。
論文 参考訳(メタデータ) (2023-01-04T18:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。