論文の概要: Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.02249v1
• Date: Tue, 04 Feb 2025 11:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:26.367328
• Title: Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation
• Title（参考訳）: ファインタニングと検索拡張生成を利用した医療用会話AIダイアログ
• Authors: Atharva Mangeshkumar Agrawal, Rutika Pandurang Shinde, Vasanth Kumar Bhukya, Ashmita Chakraborty, Sagar Bharat Shah, Tanmay Shukla, Sree Pradeep Kumar Relangi, Nilesh Mutyam,
• Abstract要約: 大きな言語モデル(LLM)は、対話生成を含む自然言語処理タスクにおいて印象的な機能を示している。 本研究の目的は、LoRAによる微調整とRetrieval-Augmented Generationフレームワークという、2つの重要な技術の比較分析を行うことである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) have shown impressive capabilities in natural language processing tasks, including dialogue generation. This research aims to conduct a novel comparative analysis of two prominent techniques, fine-tuning with LoRA (Low-Rank Adaptation) and the Retrieval-Augmented Generation (RAG) framework, in the context of doctor-patient chat conversations with multiple datasets of mixed medical domains. The analysis involves three state-of-the-art models: Llama-2, GPT, and the LSTM model. Employing real-world doctor-patient dialogues, we comprehensively evaluate the performance of models, assessing key metrics such as language quality (perplexity, BLEU score), factual accuracy (fact-checking against medical knowledge bases), adherence to medical guidelines, and overall human judgments (coherence, empathy, safety). The findings provide insights into the strengths and limitations of each approach, shedding light on their suitability for healthcare applications. Furthermore, the research investigates the robustness of the models in handling diverse patient queries, ranging from general health inquiries to specific medical conditions. The impact of domain-specific knowledge integration is also explored, highlighting the potential for enhancing LLM performance through targeted data augmentation and retrieval strategies.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、対話生成を含む自然言語処理タスクにおいて印象的な機能を示している。 本研究の目的は、複数の混合医療領域のデータセットを用いた医師と患者とのチャットのコンテキストにおいて、LoRA(Low-Rank Adaptation)とRetrieval-Augmented Generation(RAG)フレームワークによる微調整という2つの重要な技術の比較分析を行うことである。 この分析には、Llama-2、GPT、LSTMモデルの3つの最先端モデルが含まれている。 実際の医師と患者との対話を用いて、言語品質(複雑度、BLEUスコア)、事実的正確性(医療知識ベースに対するファクトチェック)、医療ガイドラインの遵守、全体的人的判断(一貫性、共感、安全性)などの重要な指標を総合的に評価した。 この調査結果は、それぞれのアプローチの長所と短所に関する洞察を与え、医療応用への適合性に光を当てている。 さらに、一般的な健康調査から特定の医療条件に至るまで、多様な患者問合せを扱う際のモデルの堅牢性について検討した。 ドメイン固有の知識統合の影響についても検討し、対象データ拡張と検索戦略によるLLM性能向上の可能性を強調した。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• The Role of Language Models in Modern Healthcare: A Comprehensive Review [2.048226951354646]
  医療における大規模言語モデル(LLM)の適用は注目されている。 本稿では,言語モデルの初期から現在までの軌跡を概観する。
  論文  参考訳（メタデータ） (2024-09-25T12:15:15Z)
• MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models [3.0874677990361246]
  大きな言語モデル(LLM)は、人間のような応答を生成する素晴らしい能力を示している。 我々は,LLM入力を関連背景情報で拡張する新しい検索フレームワークMedInsightを提案する。 MTSamplesデータセットの実験は、文脈的に適切な医療応答を生成するMedInsightの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-13T15:20:30Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• MedLM: Exploring Language Models for Medical Question Answering Systems [2.84801080855027]
  大きな言語モデル(LLM)とその高度な生成能力は、様々なNLPタスクにおいて有望であることを示している。 本研究の目的は,医療用Q&Aにおける一般用および医療用蒸留機の性能を比較することである。 この知見は、医学領域における特定の用途における異なるLMの適合性に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-01-21T03:37:47Z)
• Informing clinical assessment by contextualizing post-hoc explanations of risk prediction models in type-2 diabetes [50.8044927215346]
  本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。 我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。 本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
  論文  参考訳（メタデータ） (2023-02-11T18:07:11Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)
• MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation [86.38736781043109]
  MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。 MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。 実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T03:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。