論文の概要: The Literature Review Network: An Explainable Artificial Intelligence for Systematic Literature Reviews, Meta-analyses, and Method Development
- arxiv url: http://arxiv.org/abs/2408.05239v1
- Date: Mon, 5 Aug 2024 17:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 04:07:11.657832
- Title: The Literature Review Network: An Explainable Artificial Intelligence for Systematic Literature Reviews, Meta-analyses, and Method Development
- Title(参考訳): The Literature Review Network: An Explainable Artificial Intelligence for Systematic Literature Reviews, Meta-analyses, and Method Development
- Authors: Joshua Morriss, Tod Brindle, Jessica Bah Rösman, Daniel Reibsamen, Andreas Enz,
- Abstract要約: Literature Review Network(LRN)は、PRISMA 2020標準に準拠した、この種の説明可能なAIプラットフォームの最初のものだ。
LRNは,専門家がPubMedに問い合わせるために開発した3本の検索文字列を用いて,手術用手袋の領域で評価した。
モデルは専門家の訓練を受けずに優れた分類精度を示し、84.78%と85.71%の精度を達成した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic literature reviews are the highest quality of evidence in research. However, the review process is hindered by significant resource and data constraints. The Literature Review Network (LRN) is the first of its kind explainable AI platform adhering to PRISMA 2020 standards, designed to automate the entire literature review process. LRN was evaluated in the domain of surgical glove practices using 3 search strings developed by experts to query PubMed. A non-expert trained all LRN models. Performance was benchmarked against an expert manual review. Explainability and performance metrics assessed LRN's ability to replicate the experts' review. Concordance was measured with the Jaccard index and confusion matrices. Researchers were blinded to the other's results until study completion. Overlapping studies were integrated into an LRN-generated systematic review. LRN models demonstrated superior classification accuracy without expert training, achieving 84.78% and 85.71% accuracy. The highest performance model achieved high interrater reliability (k = 0.4953) and explainability metrics, linking 'reduce', 'accident', and 'sharp' with 'double-gloving'. Another LRN model covered 91.51% of the relevant literature despite diverging from the non-expert's judgments (k = 0.2174), with the terms 'latex', 'double' (gloves), and 'indication'. LRN outperformed the manual review (19,920 minutes over 11 months), reducing the entire process to 288.6 minutes over 5 days. This study demonstrates that explainable AI does not require expert training to successfully conduct PRISMA-compliant systematic literature reviews like an expert. LRN summarized the results of surgical glove studies and identified themes that were nearly identical to the clinical researchers' findings. Explainable AI can accurately expedite our understanding of clinical practices, potentially revolutionizing healthcare research.
- Abstract(参考訳): 体系的な文献レビューは研究における最も質の高い証拠である。
しかし、レビュープロセスは、重要なリソースとデータ制約によって妨げられています。
文学レビューネットワーク(LRN)は、文学レビュープロセス全体を自動化するために設計された、PRISMA 2020標準に準拠した、この種のAIプラットフォームの最初のものだ。
LRNは,専門家がPubMedに問い合わせるために開発した3本の検索文字列を用いて,手術用手袋の領域で評価した。
非専門家は全てのLRNモデルを訓練した。
パフォーマンスは、専門家のマニュアルレビューと比較された。
説明可能性とパフォーマンスの指標は、専門家のレビューを再現するLRNの能力を評価した。
一致度をジャカード指数と混乱行列で測定した。
研究が完了するまで、研究者はお互いの結果に盲目だった。
重なり合う研究は、LRN生成の体系的レビューに統合された。
LRNモデルは、専門家の訓練を受けずに優れた分類精度を示し、84.78%と85.71%の精度を達成した。
最高性能モデルは高いインターレータ信頼性(k = 0.4953)と説明可能性のメトリクスを達成し、'reduce'、'accident'、'sharp'と'double-gloving'をリンクした。
他のLRNモデルは、非専門家の判断(k = 0.2174)から逸脱したにもかかわらず、関連文献の91.51%をカバーし、「latex」、「double(手袋)」、「indication(表示)」という用語で表現した。
LRNはマニュアルレビュー(11ヶ月で19,920分)を上回り、全プロセスは5日間で288.6分に短縮された。
この研究は、専門家のようなPRISMAに準拠した体系的な文献レビューを成功させるために、説明可能なAIが専門家の訓練を必要としないことを実証している。
LRNは手術用手袋研究の結果を要約し、臨床研究者の発見とほぼ同一のテーマを特定した。
説明可能なAIは、医療研究に革命をもたらす可能性がある、臨床実践に対する理解を正確に解き放つことができる。
関連論文リスト
- Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。
本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
論文 参考訳(メタデータ) (2024-11-05T18:58:00Z) - Answering real-world clinical questions using large language model based systems [2.2605659089865355]
大規模言語モデル(LLM)は、出版された文献を要約するか、実世界データ(RWD)に基づいた新しい研究を生成することによって、両方の課題に対処できる可能性がある。
臨床50問に回答する5つのLCMベースのシステムについて検討し,9名の医師に関連性,信頼性,行動性について検討した。
論文 参考訳(メタデータ) (2024-06-29T22:39:20Z) - Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study [0.28318468414401093]
本稿では,大規模言語モデル (LLM) である GPT-4 を用いて,体系的レビューにおけるデータ抽出(セミ)の実現可能性について述べる。
その結果,約80%の精度で,領域間での変動が認められた。
論文 参考訳(メタデータ) (2024-05-23T11:24:23Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。
本手法が患者の退院指示生成に有効であることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:34:39Z) - Assessment of contextualised representations in detecting outcome
phrases in clinical trials [14.584741378279316]
本稿では,300 PubMed の要約を専門的に注釈付けしたデータセット "EBM-COMET" を紹介する。
結果の抽出には,事前学習した文脈表現を微調整する。
ベストモデル(BioBERT)は81.5%のF1、81.3%の感度、98.0%の特異性を達成している。
論文 参考訳(メタデータ) (2022-02-13T15:08:00Z) - Diagnosis of COVID-19 Using Machine Learning and Deep Learning: A review [0.0]
本稿では、新型コロナウイルス(COVID-19)対策における機械学習(ML)と深層学習(DL)技術の適用について、体系的に検討する。
AI、COVID-19、ML、予測、DL、X線、CT(Computed Tomography)のキーワードに基づいて、440記事の全文レビューを行った。
論文 参考訳(メタデータ) (2021-10-28T06:17:50Z) - A Systematic Review of Natural Language Processing Applied to Radiology
Reports [3.600747505433814]
本研究は, 放射線学報告に応用されたNLPの最近の文献を体系的に評価する。
本研究は, 放射線学的特徴, nlp法, 性能, 研究, 臨床応用特性を含む21の変数に基づく。
論文 参考訳(メタデータ) (2021-02-18T18:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。