論文の概要: Enhancing Large Language Models with Domain-specific Retrieval Augment Generation: A Case Study on Long-form Consumer Health Question Answering in Ophthalmology

• arxiv url: http://arxiv.org/abs/2409.13902v1
• Date: Fri, 20 Sep 2024 21:06:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:39:44.110120
• Title: Enhancing Large Language Models with Domain-specific Retrieval Augment Generation: A Case Study on Long-form Consumer Health Question Answering in Ophthalmology
• Title（参考訳）: ドメイン固有検索オーグメント生成による大規模言語モデルの強化:眼科における長期消費者健康調査を事例として
• Authors: Aidan Gilson, Xuguang Ai, Thilaka Arunachalam, Ziyou Chen, Ki Xiong Cheong, Amisha Dave, Cameron Duic, Mercy Kibe, Annette Kaminaka, Minali Prasad, Fares Siddig, Maxwell Singer, Wendy Wong, Qiao Jin, Tiarnan D. L. Keenan, Xia Hu, Emily Y. Chew, Zhiyong Lu, Hua Xu, Ron A. Adelman, Yih-Chung Tham, Qingyu Chen,
• Abstract要約: 医学における大規模言語モデル(LLM)は、幻覚的証拠に基づく証拠を欠いた応答を生成する可能性がある。 我々は,7万件の眼科用文書を用いたRAGパイプラインを開発し,推測時間にLCMを増大させるために関連文書を検索した。 医療従事者10名を対象に,RAGの有無を問う質問100件において, LLMの500件以上の基準を含む回答を評価した。
• 参考スコア（独自算出の注目度）: 34.82874325860935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the potential of Large Language Models (LLMs) in medicine, they may generate responses lacking supporting evidence or based on hallucinated evidence. While Retrieval Augment Generation (RAG) is popular to address this issue, few studies implemented and evaluated RAG in downstream domain-specific applications. We developed a RAG pipeline with 70,000 ophthalmology-specific documents that retrieve relevant documents to augment LLMs during inference time. In a case study on long-form consumer health questions, we systematically evaluated the responses including over 500 references of LLMs with and without RAG on 100 questions with 10 healthcare professionals. The evaluation focuses on factuality of evidence, selection and ranking of evidence, attribution of evidence, and answer accuracy and completeness. LLMs without RAG provided 252 references in total. Of which, 45.3% hallucinated, 34.1% consisted of minor errors, and 20.6% were correct. In contrast, LLMs with RAG significantly improved accuracy (54.5% being correct) and reduced error rates (18.8% with minor hallucinations and 26.7% with errors). 62.5% of the top 10 documents retrieved by RAG were selected as the top references in the LLM response, with an average ranking of 4.9. The use of RAG also improved evidence attribution (increasing from 1.85 to 2.49 on a 5-point scale, P<0.001), albeit with slight decreases in accuracy (from 3.52 to 3.23, P=0.03) and completeness (from 3.47 to 3.27, P=0.17). The results demonstrate that LLMs frequently exhibited hallucinated and erroneous evidence in the responses, raising concerns for downstream applications in the medical domain. RAG substantially reduced the proportion of such evidence but encountered challenges.
• Abstract（参考訳）: 医学におけるLarge Language Models (LLMs) の可能性にもかかわらず、それらが支持する証拠や幻覚的証拠に基づく応答を生じさせる可能性がある。 Retrieval Augment Generation (RAG)はこの問題に対処するために人気があるが、下流ドメイン固有のアプリケーションでRAGを実装し評価する研究はほとんどない。 我々は,7万件の眼科用文書を用いたRAGパイプラインを開発し,推測時間にLCMを増大させるために関連文書を検索した。 長期の消費者健康問題に対する事例研究において,10名の医療従事者を対象に,RAGと非RAGに関する500件以上のLCMの基準を含む回答を体系的に評価した。 この評価は、証拠の事実性、証拠の選択とランキング、証拠の帰属、そして正確性と完全性に答えることに焦点を当てている。 RAGのないLLMは合計252の参照を提供した。 そのうち45.3%が幻覚、34.1%が小さな誤り、20.6%が正しい。 対照的に、RAGのLLMは精度を著しく向上させ(54.5%が正しい)、小さな幻覚で18.8%、エラーで26.7%の誤差を減らした。 RAGが取得した上位10の文書のうち62.5%がLCMレスポンスの上位リファレンスに選ばれ、平均ランクは4.9である。 RAGの使用はまた、証拠属性(5点スケールで1.85から2.49に増加、P<0.001)、精度がわずかに低下する(3.52から3.23、P=0.03)、完全性(3.47から3.27、P=0.17)を改善した。 以上の結果から, LLMは, 医療領域における下流の応用への懸念を喚起し, 幻覚的, 誤った証拠をしばしば示していたことが示唆された。 RAGはそのような証拠の割合を大幅に減らしたが、課題に遭遇した。

関連論文リスト

• Rationale-Guided Retrieval Augmented Generation for Medical Question Answering [18.8818391508042]
  大規模言語モデル(LLM)は、バイオメディシンの応用に大きな可能性を秘めている。 RAG$2$は、医学的文脈におけるRAGの信頼性を高めるための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-11-01T01:40:23Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• oRetrieval Augmented Generation for 10 Large Language Models and its Generalizability in Assessing Medical Fitness [4.118721833273984]
  大規模言語モデル(LLM)は医学的応用の可能性を示すが、専門的な臨床知識が欠如していることが多い。 Retrieval Augmented Generation (RAG)は、ドメイン固有の情報によるカスタマイズを可能にし、医療に適している。 本研究は,手術適応の判定と術前指導におけるRAGモデルの精度,整合性,安全性について検討した。
  論文  参考訳（メタデータ） (2024-10-11T00:34:20Z)
• Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
  本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T21:09:09Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Answering real-world clinical questions using large language model based systems [2.2605659089865355]
  大規模言語モデル(LLM)は、出版された文献を要約するか、実世界データ(RWD)に基づいた新しい研究を生成することによって、両方の課題に対処できる可能性がある。 臨床50問に回答する5つのLCMベースのシステムについて検討し,9名の医師に関連性,信頼性,行動性について検討した。
  論文  参考訳（メタデータ） (2024-06-29T22:39:20Z)
• Development and Testing of Retrieval Augmented Generation in Large Language Models -- A Case Study Report [2.523433459887027]
  Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)におけるドメイン知識をカスタマイズするための有望なアプローチとして出現する。 LLM-RAGモデルを35の術前ガイドラインを用いて開発し,人為的反応に対して試験を行った。 このモデルでは平均15～20秒で回答が生成され、人間の要求する10分よりもはるかに速くなった。
  論文  参考訳（メタデータ） (2024-01-29T06:49:53Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model [0.0]
  大規模言語モデル(LLM)は自然言語処理(NLP)において大きな進歩を遂げている。 集中型コーパスでのLLMのトレーニングは、計算上の課題を提起する。 別のアプローチとして、特定のドメインでテストされた検索拡張(RetA)メソッドを使用する方法がある。 OpenAIのGPT-3, GPT-4, BingのPrometheus, および独自のRetAモデルを比較した。
  論文  参考訳（メタデータ） (2023-05-26T17:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。