論文の概要: Retrieval Augmented Generation Evaluation for Health Documents

• arxiv url: http://arxiv.org/abs/2505.04680v1
• Date: Wed, 07 May 2025 16:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.629902
• Title: Retrieval Augmented Generation Evaluation for Health Documents
• Title（参考訳）: 健康文書の検索生成評価
• Authors: Mario Ceresa, Lorenzo Bertolini, Valentin Comte, Nicholas Spadaro, Barbara Raffael, Brigitte Toussaint, Sergio Consoli, Amalia Muñoz Piñeiro, Alex Patak, Maddalena Querci, Tobias Wiesenthal,
• Abstract要約: Retrieval Augmented Generation (RAG) は、Large Language Models (LLM) のポテンシャルを活用するための有望な手法である。 本報告は、医療分野における各種文書の自動知識合成における、そのようなアプローチの可能性と欠点について考察する。
• 参考スコア（独自算出の注目度）: 1.7926853584330775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safe and trustworthy use of Large Language Models (LLM) in the processing of healthcare documents and scientific papers could substantially help clinicians, scientists and policymakers in overcoming information overload and focusing on the most relevant information at a given moment. Retrieval Augmented Generation (RAG) is a promising method to leverage the potential of LLMs while enhancing the accuracy of their outcomes. This report assesses the potentials and shortcomings of such approaches in the automatic knowledge synthesis of different types of documents in the health domain. To this end, it describes: (1) an internally developed proof of concept pipeline that employs state-of-the-art practices to deliver safe and trustable analysis for healthcare documents and scientific papers called RAGEv (Retrieval Augmented Generation Evaluation); (2) a set of evaluation tools for LLM-based document retrieval and generation; (3) a benchmark dataset to verify the accuracy and veracity of the results called RAGEv-Bench. It concludes that careful implementations of RAG techniques could minimize most of the common problems in the use of LLMs for document processing in the health domain, obtaining very high scores both on short yes/no answers and long answers. There is a high potential for incorporating it into the day-to-day work of policy support tasks, but additional efforts are required to obtain a consistent and trustworthy tool.
• Abstract（参考訳）: 医療文書や科学論文の処理におけるLLM(Large Language Models)の安全かつ信頼性の高い使用は、臨床医、科学者、政策立案者が情報過負荷を克服し、与えられた瞬間に最も関連性の高い情報に集中するのに役立つだろう。 Retrieval Augmented Generation (RAG) は、LLMの可能性を有効活用し、その結果の精度を高めるための有望な手法である。 本報告は、医療分野における各種文書の自動知識合成における、そのようなアプローチの可能性と欠点について考察する。 この目的のために,(1)医療用文書やRAGEv(Retrieval Augmented Generation Evaluation)と呼ばれる科学的論文に対して,安全かつ信頼性の高い分析を行うための最先端のプラクティスを用いた概念パイプラインの社内開発,(2)LCMベースの文書検索・生成のための一連の評価ツール,(3)RAGEv-Benchと呼ばれる結果の正確性と妥当性を検証するためのベンチマークデータセットについて述べる。 RAG手法の注意深い実装は、健康領域における文書処理にLLMを使用する際の一般的な問題の大部分を最小化し、短いイエス/ノー回答と長い回答の両方で非常に高いスコアを得ることができると結論付けている。 政策支援タスクの日々の業務に組み込む可能性は高いが、一貫した信頼性のあるツールを得るためには、さらなる努力が必要である。

関連論文リスト

• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Enhancing Health Information Retrieval with RAG by Prioritizing Topical Relevance and Factual Accuracy [0.7673339435080445]
  本稿では, 科学的根拠に基づく健康関連文書の検索を促進するために, RAG(Retrieval-Augmented Generation)を駆使した手法を提案する。 特に,3段階のモデルを提案する。第1段階では,科学的文献によって構成された知識ベースから,利用者のクエリを用いて,関連した項目を検索する。 第2段階では、これらのパスは初期クエリとともにLLMによって処理され、コンテキストに関連のあるリッチテキスト(GenText)を生成する。 最終段階では、検索対象の文書を評価・ランク付けする。
  論文  参考訳（メタデータ） (2025-02-07T05:19:13Z)
• A Review on Scientific Knowledge Extraction using Large Language Models in Biomedical Sciences [1.8308043661908204]
  本稿では,生物医学領域における大規模言語モデル(LLM)の最先端応用について概説する。 LLMは、幻覚、文脈理解、一般化する能力など、大きな可能性を秘めているが、大きな課題が残っている。 我々は、医療文献へのアクセスを改善し、医療における有意義な発見を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-04T18:26:13Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry [2.1717945745027425]
  大規模言語モデル(LLM)は、言語理解と生成の高度な能力で様々な産業に影響を与えている。 この包括的調査は、医療におけるLSMの広範な適用と必要な評価を概説する。 本調査は,臨床環境,医療用テキストデータ処理,研究,教育,公衆衛生への意識といった分野におけるLCM応用の詳細な分析を行うために構成されている。
  論文  参考訳（メタデータ） (2024-04-24T09:55:24Z)
• A Review on Knowledge Graphs for Healthcare: Resources, Applications, and Promises [59.4999994297993]
  この総合的なレビューは、医療知識グラフ(HKG)の現状の概要を提供することを目的としている。 我々は,既存のHKGに関する文献を網羅的に分析し,その構築方法,活用技術,応用について考察した。 このレビューは、HKGsが生物医学研究や臨床実践に大きな影響を与える可能性を強調している。
  論文  参考訳（メタデータ） (2023-06-07T21:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。