論文の概要: Development and Testing of Retrieval Augmented Generation in Large Language Models -- A Case Study Report

• arxiv url: http://arxiv.org/abs/2402.01733v1
• Date: Mon, 29 Jan 2024 06:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 16:18:20.024974
• Title: Development and Testing of Retrieval Augmented Generation in Large Language Models -- A Case Study Report
• Title（参考訳）: 大規模言語モデルにおける検索拡張生成の開発とテスト--事例研究
• Authors: YuHe Ke, Liyuan Jin, Kabilan Elangovan, Hairil Rizal Abdullah, Nan Liu, Alex Tiong Heng Sia, Chai Rick Soh, Joshua Yi Min Tung, Jasmine Chiat Ling Ong, Daniel Shu Wei Ting
• Abstract要約: Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)におけるドメイン知識をカスタマイズするための有望なアプローチとして出現する。 LLM-RAGモデルを35の術前ガイドラインを用いて開発し,人為的反応に対して試験を行った。 このモデルでは平均15～20秒で回答が生成され、人間の要求する10分よりもはるかに速くなった。
• 参考スコア（独自算出の注目度）: 2.523433459887027
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Purpose: Large Language Models (LLMs) hold significant promise for medical applications. Retrieval Augmented Generation (RAG) emerges as a promising approach for customizing domain knowledge in LLMs. This case study presents the development and evaluation of an LLM-RAG pipeline tailored for healthcare, focusing specifically on preoperative medicine. Methods: We developed an LLM-RAG model using 35 preoperative guidelines and tested it against human-generated responses, with a total of 1260 responses evaluated. The RAG process involved converting clinical documents into text using Python-based frameworks like LangChain and Llamaindex, and processing these texts into chunks for embedding and retrieval. Vector storage techniques and selected embedding models to optimize data retrieval, using Pinecone for vector storage with a dimensionality of 1536 and cosine similarity for loss metrics. Human-generated answers, provided by junior doctors, were used as a comparison. Results: The LLM-RAG model generated answers within an average of 15-20 seconds, significantly faster than the 10 minutes typically required by humans. Among the basic LLMs, GPT4.0 exhibited the best accuracy of 80.1%. This accuracy was further increased to 91.4% when the model was enhanced with RAG. Compared to the human-generated instructions, which had an accuracy of 86.3%, the performance of the GPT4.0 RAG model demonstrated non-inferiority (p=0.610). Conclusions: In this case study, we demonstrated a LLM-RAG model for healthcare implementation. The pipeline shows the advantages of grounded knowledge, upgradability, and scalability as important aspects of healthcare LLM deployment.
• Abstract（参考訳）: 目的:Large Language Models (LLMs) は医療応用において大きな可能性を秘めている。 Retrieval Augmented Generation (RAG)は、LLMにおけるドメイン知識をカスタマイズするための有望なアプローチとして登場した。 本研究は, 医療に適したLLM-RAGパイプラインの開発と評価, 特に術前医療に焦点を当てた。 方法:35の術前ガイドラインを用いたllm-ragモデルを開発し,人為的反応に対する反応評価を行った。 RAGプロセスは、臨床文書をLangChainやLlamaindexといったPythonベースのフレームワークを使ってテキストに変換し、これらのテキストを埋め込みと検索のためにチャンクに処理する。 ベクトル保存技術とデータ検索を最適化する埋め込みモデルの選択は、1536次元のベクトルストレージにpineconeを使用し、損失メトリクスにcosine類似性を使用する。 若手医師が提供した人為的な回答を比較対象とした。 結果: LLM-RAGモデルでは,平均15～20秒以内の回答が得られた。 基本的なLCMのうち、GPT4.0は80.1%の精度を示した。 この精度はRAGでモデルが強化されたときに91.4%に向上した。 gpt4.0 ragモデルの性能は,86.3%の精度のヒト生成命令と比較すると非干渉性(p=0.610)を示した。 結論:本症例では,医療実践のためのLLM-RAGモデルを実証した。 パイプラインは、医療用LLMデプロイメントの重要な側面として、基盤となる知識、アップグレード性、スケーラビリティの利点を示しています。

関連論文リスト

• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Leveraging Large Language Models for Medical Information Extraction and Query Generation [2.1793134762413433]
  本稿では,大言語モデル(LLM)を臨床試験検索プロセスに統合するシステムを提案する。 クエリ生成には6つのLCMを評価し,最小限の計算資源を必要とする,オープンソースと比較的小さなモデルに着目した。
  論文  参考訳（メタデータ） (2024-10-31T12:01:51Z)
• MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
  近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。 Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。 我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-16T23:03:27Z)
• Enhanced Electronic Health Records Text Summarization Using Large Language Models [0.0]
  このプロジェクトは、臨床が優先する、焦点を絞った要約を生成するシステムを作成することで、以前の作業の上に構築される。 提案システムでは,Flan-T5モデルを用いて,臨床専門のトピックに基づいた調整されたERHサマリーを生成する。
  論文  参考訳（メタデータ） (2024-10-12T19:36:41Z)
• oRetrieval Augmented Generation for 10 Large Language Models and its Generalizability in Assessing Medical Fitness [4.118721833273984]
  大規模言語モデル(LLM)は医学的応用の可能性を示すが、専門的な臨床知識が欠如していることが多い。 Retrieval Augmented Generation (RAG)は、ドメイン固有の情報によるカスタマイズを可能にし、医療に適している。 本研究は,手術適応の判定と術前指導におけるRAGモデルの精度,整合性,安全性について検討した。
  論文  参考訳（メタデータ） (2024-10-11T00:34:20Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain [14.635536657783613]
  本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。 以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。 本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T01:18:09Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• An Interpretable Web-based Glioblastoma Multiforme Prognosis Prediction Tool using Random Forest Model [1.1024591739346292]
  治療後1年間のGBM患者の健康状態を推定する予測モデルを提案する。 総計467名のGBM患者の臨床像を13の特徴と2つの経過日で比較検討した。 GBM患者生存の予後因子のトップ3はMGMT遺伝子プロモーター,切除範囲,年齢であった。
  論文  参考訳（メタデータ） (2021-08-30T07:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。