論文の概要: System for systematic literature review using multiple AI agents: Concept and an empirical evaluation

• arxiv url: http://arxiv.org/abs/2403.08399v1
• Date: Wed, 13 Mar 2024 10:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 14:43:30.778142
• Title: System for systematic literature review using multiple AI agents: Concept and an empirical evaluation
• Title（参考訳）: 複数のAIエージェントを用いた体系的文献レビューシステム 概念と実証評価
• Authors: Abdul Malik Sami, Zeeshan Rasheed, Kai-Kristian Kemell, Muhammad Waseem, Terhi Kilamo, Mika Saari, Anh Nguyen Duc, Kari Syst\"a, Pekka Abrahamsson
• Abstract要約: 本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。 このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。 関連する学術論文を検索するために使用される検索文字列を生成する。 モデルはこれらの論文の要約を自律的に要約する。
• 参考スコア（独自算出の注目度）: 5.194208843843004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systematic Literature Reviews (SLRs) have become the foundation of evidence-based studies, enabling researchers to identify, classify, and combine existing studies based on specific research questions. Conducting an SLR is largely a manual process. Over the previous years, researchers have made significant progress in automating certain phases of the SLR process, aiming to reduce the effort and time needed to carry out high-quality SLRs. However, there is still a lack of AI agent-based models that automate the entire SLR process. To this end, we introduce a novel multi-AI agent model designed to fully automate the process of conducting an SLR. By utilizing the capabilities of Large Language Models (LLMs), our proposed model streamlines the review process, enhancing efficiency and accuracy. The model operates through a user-friendly interface where researchers input their topic, and in response, the model generates a search string used to retrieve relevant academic papers. Subsequently, an inclusive and exclusive filtering process is applied, focusing on titles relevant to the specific research area. The model then autonomously summarizes the abstracts of these papers, retaining only those directly related to the field of study. In the final phase, the model conducts a thorough analysis of the selected papers concerning predefined research questions. We also evaluated the proposed model by sharing it with ten competent software engineering researchers for testing and analysis. The researchers expressed strong satisfaction with the proposed model and provided feedback for further improvement. The code for this project can be found on the GitHub repository at https://github.com/GPT-Laboratory/SLR-automation.
• Abstract（参考訳）: Systematic Literature Reviews (SLRs) はエビデンスに基づく研究の基礎となり、研究者は特定の研究質問に基づいて既存の研究を識別、分類、組み合わせることができる。 SLRを実行することは、主に手動のプロセスである。 過去数年間、研究者はSLRプロセスの特定のフェーズを自動化し、高品質のSLRを実行するのに必要な労力と時間を短縮することを目的として、大きな進歩を遂げてきた。 しかし、SLRプロセス全体を自動化するAIエージェントベースのモデルはまだ存在しない。 そこで本研究では,SLRの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。 LLM(Large Language Models)の機能を利用することで,提案モデルがレビュープロセスを合理化し,効率と精度を向上する。 このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作し、それに応じて、関連する学術論文を検索するために使用される検索文字列を生成する。 その後、特定の研究領域に関連するタイトルに焦点をあてて、包括的で排他的なフィルタリングプロセスを適用する。 このモデルはこれらの論文の要約を自律的に要約し、研究分野に直接関係する論文のみを保持する。 最終段階では、あらかじめ定義された研究課題に関する選択された論文を徹底的に分析する。 また、提案モデルを10人の有能なソフトウェア工学研究者と共有し、テストと分析を行った。 研究チームは提案したモデルに強い満足感を示し、さらなる改善のためのフィードバックを提供した。 プロジェクトのコードはGitHubリポジトリhttps://github.com/GPT-Laboratory/SLR-automationにある。

関連論文リスト

• CycleResearcher: Improving Automated Research via Automated Review [37.03497673861402]
  本稿では,オープンソースの後学習型大規模言語モデル(LLM)を,自動研究とレビューの全サイクルを遂行する自律エージェントとして活用する可能性について検討する。 これらのモデルをトレーニングするために、現実の機械学習研究とピアレビューダイナミクスを反映した2つの新しいデータセットを開発した。 研究において、CycleResearcherモデルが作成した論文は、シミュレーションされたピアレビューで5.36点を獲得し、人間の専門家による5.24点を上回り、受け入れられた論文の5.69点に近づいた。
  論文  参考訳（メタデータ） (2024-10-28T08:10:21Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
  本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。 自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。 調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:46Z)
• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
  本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。 本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。 その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
  論文  参考訳（メタデータ） (2024-04-08T00:08:29Z)
• Artificial Intelligence for Literature Reviews: Opportunities and Challenges [0.0]
  この写本は、システム文献レビューにおける人工知能の使用に関する包括的なレビューを提示する。 SLRは、あるトピックに関する以前の研究を評価し、統合する厳格で組織化された方法論である。 従来の23の機能と11のAI機能を組み合わせたフレームワークを用いて、主要なSLRツール21について検討する。
  論文  参考訳（メタデータ） (2024-02-13T16:05:51Z)
• Emerging Results on Automated Support for Searching and Selecting Evidence for Systematic Literature Review Updates [1.1153433121962064]
  本稿では,ソフトウェア工学におけるSLR更新研究の検索と選択を支援する自動手法について述べる。 我々は,機械学習(ML)アルゴリズムを用いて,雪玉探索技術を実行する自動化ツールのプロトタイプを開発し,SLR更新に関する関連する研究を選択することを支援する。
  論文  参考訳（メタデータ） (2024-02-07T23:39:20Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。