論文の概要: Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model
System for Answering Medical Questions using Scientific Literature
- arxiv url: http://arxiv.org/abs/2310.16146v1
- Date: Tue, 24 Oct 2023 19:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 18:17:45.391451
- Title: Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model
System for Answering Medical Questions using Scientific Literature
- Title（参考訳）: Clinfo.ai: 学術文献を用いた医学質問応答のためのオープンソースの検索型大規模言語モデルシステム
- Authors: Alejandro Lozano, Scott L Fleming, Chia-Chun Chiang, and Nigam Shah
- Abstract要約: 我々はClinfo.aiをリリースした。Clinfo.aiはオープンソースのWebアプリケーションで、動的に検索された科学的文献に基づいて臨床上の質問に答える。
我々は PubMedRS-200 上で Clinfo.ai および他の公開 OpenQA システムのベンチマーク結果を報告する。
- 参考スコア（独自算出の注目度）: 44.715854387549605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quickly-expanding nature of published medical literature makes it
challenging for clinicians and researchers to keep up with and summarize
recent, relevant findings in a timely manner. While several closed-source
summarization tools based on large language models (LLMs) now exist, rigorous
and systematic evaluations of their outputs are lacking. Furthermore, there is
a paucity of high-quality datasets and appropriate benchmark tasks with which
to evaluate these tools. We address these issues with four contributions: we
release Clinfo.ai, an open-source WebApp that answers clinical questions based
on dynamically retrieved scientific literature; we specify an information
retrieval and abstractive summarization task to evaluate the performance of
such retrieval-augmented LLM systems; we release a dataset of 200 questions and
corresponding answers derived from published systematic reviews, which we name
PubMed Retrieval and Synthesis (PubMedRS-200); and report benchmark results for
Clinfo.ai and other publicly available OpenQA systems on PubMedRS-200.
- Abstract（参考訳）: 出版される医学文献の急速な発展は、臨床医や研究者が最新の関連する発見をタイムリーに追従し、要約することを困難にしている。
大規模言語モデル(LLM)に基づくいくつかのクローズドソース要約ツールが存在するが、その出力の厳密で体系的な評価は欠如している。
さらに、これらのツールを評価するための高品質なデータセットと適切なベンチマークタスクが存在する。
We address these issues with four contributions: we release Clinfo.ai, an open-source WebApp that answers clinical questions based on dynamically retrieved scientific literature; we specify an information retrieval and abstractive summarization task to evaluate the performance of such retrieval-augmented LLM systems; we release a dataset of 200 questions and corresponding answers derived from published systematic reviews, which we name PubMed Retrieval and Synthesis (PubMedRS-200); and report benchmark results for Clinfo.ai and other publicly available OpenQA systems on PubMedRS-200.
関連論文リスト
- Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳（メタデータ） (2024-11-14T06:19:18Z) - Leveraging Large Language Models for Medical Information Extraction and Query Generation [2.1793134762413433]
本稿では,大言語モデル(LLM)を臨床試験検索プロセスに統合するシステムを提案する。
クエリ生成には6つのLCMを評価し,最小限の計算資源を必要とする,オープンソースと比較的小さなモデルに着目した。
論文 参考訳（メタデータ） (2024-10-31T12:01:51Z) - AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
本稿では,自己学習仮説文書埋め込み (SL-HyDE) という新しい手法を導入し,この問題に対処する。
SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。
実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
論文 参考訳（メタデータ） (2024-10-26T02:53:20Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - Comparative Analysis of Open-Source Language Models in Summarizing Medical Text Data [5.443548415516227]
大規模言語モデル(LLM)は,非構造化テキストデータに対する問合せおよび要約処理において,優れた性能を示した。
医用要約タスクにおけるオープンソースのLCMの性能分析のための評価手法を提案する。
論文 参考訳（メタデータ） (2024-05-25T16:16:22Z) - Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。
まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。
次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。
ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文 参考訳（メタデータ） (2024-04-25T15:51:06Z) - CSMeD: Bridging the Dataset Gap in Automated Citation Screening for
Systematic Literature Reviews [10.207938863784829]
CSMeDは9つの公開コレクションを統合したメタデータセットである。
CSMeDは自動引用スクリーニングモデルの性能を訓練し評価するための総合的なリソースとして機能する。
我々はCSMeD-FTを導入した。CSMeD-FTは、全文パブリッシュスクリーニングタスクを明示的に評価するために設計された新しいデータセットである。
論文 参考訳（メタデータ） (2023-11-21T09:36:11Z) - Development and validation of a natural language processing algorithm to
pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。
臨床文献のコーパスを12種類に分類した。
私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文 参考訳（メタデータ） (2023-03-23T17:17:46Z) - MS2: Multi-Document Summarization of Medical Studies [11.38740406132287]
MS2(Multi-Document Summarization of Medical Studies)は、科学文献から得られた470k以上の文書と20kの要約からなるデータセットです。
このデータセットは、矛盾する証拠を複数の研究で評価し集約するシステムの開発を促進する。
早期成果を期待して,BARTに基づく要約システムを実験した。
論文 参考訳（メタデータ） (2021-04-13T19:59:34Z) - CAiRE-COVID: A Question Answering and Query-focused Multi-Document
Summarization System for COVID-19 Scholarly Information Management [48.251211691263514]
我々は、リアルタイム質問応答(QA)とマルチドキュメント要約システムであるCAiRE-COVIDを紹介し、Kaggle COVID-19 Open Researchデータセットチャレンジで10のタスクのうちの1つを勝ち取った。
本システムの目的は,コミュニティからの優先度の高い質問に答えることによって,新型コロナウイルスに関する数多くの学術論文をマイニングすることにある。
論文 参考訳（メタデータ） (2020-05-04T15:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。