論文の概要: System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation
- arxiv url: http://arxiv.org/abs/2403.08399v1
- Date: Wed, 13 Mar 2024 10:27:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:43:30.778142
- Title: System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation
- Title(参考訳): 複数のAIエージェントを用いた体系的文献レビューシステム
概念と実証評価
- Authors: Abdul Malik Sami, Zeeshan Rasheed, Kai-Kristian Kemell, Muhammad
Waseem, Terhi Kilamo, Mika Saari, Anh Nguyen Duc, Kari Syst\"a, Pekka
Abrahamsson
- Abstract要約: 本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
- 参考スコア(独自算出の注目度): 5.194208843843004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Systematic Literature Reviews (SLRs) have become the foundation of
evidence-based studies, enabling researchers to identify, classify, and combine
existing studies based on specific research questions. Conducting an SLR is
largely a manual process. Over the previous years, researchers have made
significant progress in automating certain phases of the SLR process, aiming to
reduce the effort and time needed to carry out high-quality SLRs. However,
there is still a lack of AI agent-based models that automate the entire SLR
process. To this end, we introduce a novel multi-AI agent model designed to
fully automate the process of conducting an SLR. By utilizing the capabilities
of Large Language Models (LLMs), our proposed model streamlines the review
process, enhancing efficiency and accuracy. The model operates through a
user-friendly interface where researchers input their topic, and in response,
the model generates a search string used to retrieve relevant academic papers.
Subsequently, an inclusive and exclusive filtering process is applied, focusing
on titles relevant to the specific research area. The model then autonomously
summarizes the abstracts of these papers, retaining only those directly related
to the field of study. In the final phase, the model conducts a thorough
analysis of the selected papers concerning predefined research questions. We
also evaluated the proposed model by sharing it with ten competent software
engineering researchers for testing and analysis. The researchers expressed
strong satisfaction with the proposed model and provided feedback for further
improvement. The code for this project can be found on the GitHub repository at
https://github.com/GPT-Laboratory/SLR-automation.
- Abstract(参考訳): Systematic Literature Reviews (SLRs) はエビデンスに基づく研究の基礎となり、研究者は特定の研究質問に基づいて既存の研究を識別、分類、組み合わせることができる。
SLRを実行することは、主に手動のプロセスである。
過去数年間、研究者はSLRプロセスの特定のフェーズを自動化し、高品質のSLRを実行するのに必要な労力と時間を短縮することを目的として、大きな進歩を遂げてきた。
しかし、SLRプロセス全体を自動化するAIエージェントベースのモデルはまだ存在しない。
そこで本研究では,SLRの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
LLM(Large Language Models)の機能を利用することで,提案モデルがレビュープロセスを合理化し,効率と精度を向上する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作し、それに応じて、関連する学術論文を検索するために使用される検索文字列を生成する。
その後、特定の研究領域に関連するタイトルに焦点をあてて、包括的で排他的なフィルタリングプロセスを適用する。
このモデルはこれらの論文の要約を自律的に要約し、研究分野に直接関係する論文のみを保持する。
最終段階では、あらかじめ定義された研究課題に関する選択された論文を徹底的に分析する。
また、提案モデルを10人の有能なソフトウェア工学研究者と共有し、テストと分析を行った。
研究チームは提案したモデルに強い満足感を示し、さらなる改善のためのフィードバックを提供した。
プロジェクトのコードはGitHubリポジトリhttps://github.com/GPT-Laboratory/SLR-automationにある。
関連論文リスト
- Artificial Intelligence for Literature Reviews: Opportunities and
Challenges [0.0]
この写本は、システム文献レビューにおける人工知能の使用に関する包括的なレビューを提示する。
SLRは、あるトピックに関する以前の研究を評価し、統合する厳格で組織化された方法論である。
従来の23の機能と11のAI機能を組み合わせたフレームワークを用いて、主要なSLRツール21について検討する。
論文 参考訳(メタデータ) (2024-02-13T16:05:51Z) - Emerging Results on Automated Support for Searching and Selecting
Evidence for Systematic Literature Review Updates [1.1153433121962064]
本稿では,ソフトウェア工学におけるSLR更新研究の検索と選択を支援する自動手法について述べる。
我々は,機械学習(ML)アルゴリズムを用いて,雪玉探索技術を実行する自動化ツールのプロトタイプを開発し,SLR更新に関する関連する研究を選択することを支援する。
論文 参考訳(メタデータ) (2024-02-07T23:39:20Z) - Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted
Approach for Qualitative Data Analysis [6.592797748561459]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)における協調的な人間とロボットの相互作用を可能にした
定性的な研究において,新たな拡張性と精度の次元を導入し,SEにおけるデータ解釈手法を変革する可能性がある。
論文 参考訳(メタデータ) (2024-02-02T13:10:46Z) - AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。
我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z) - CSMeD: Bridging the Dataset Gap in Automated Citation Screening for
Systematic Literature Reviews [10.207938863784829]
CSMeDは9つの公開コレクションを統合したメタデータセットである。
CSMeDは自動引用スクリーニングモデルの性能を訓練し評価するための総合的なリソースとして機能する。
我々はCSMeD-FTを導入した。CSMeD-FTは、全文パブリッシュスクリーニングタスクを明示的に評価するために設計された新しいデータセットである。
論文 参考訳(メタデータ) (2023-11-21T09:36:11Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Benchmarking Large Language Models As AI Research Agents [105.65277755304277]
我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。