Fugu-MT 論文翻訳(概要): HALO: Hallucination Analysis and Learning Optimization to Empower LLMs with Retrieval-Augmented Context for Guided Clinical Decision Making

論文の概要: HALO: Hallucination Analysis and Learning Optimization to Empower LLMs with Retrieval-Augmented Context for Guided Clinical Decision Making

arxiv url: http://arxiv.org/abs/2409.10011v2
Date: Wed, 18 Sep 2024 20:03:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-20 11:13:42.111063
Title: HALO: Hallucination Analysis and Learning Optimization to Empower LLMs with Retrieval-Augmented Context for Guided Clinical Decision Making
Title（参考訳）: HALO:検索コンテキストを付加したLLMの指導的意思決定のための幻覚分析と学習最適化
Authors: Sumera Anjum, Hanzhi Zhang, Wenjun Zhou, Eun Jin Paek, Xiaopeng Zhao, Yunhe Feng,
Abstract要約: 健康や医学などの重要な領域では、幻覚は深刻なリスクを引き起こすことがある。本稿では,医療質問応答システムの精度と信頼性を高めるための新しいフレームワークであるHALOを紹介する。
参考スコア（独自算出の注目度）: 3.844437360527058
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have significantly advanced natural language processing tasks, yet they are susceptible to generating inaccurate or unreliable responses, a phenomenon known as hallucination. In critical domains such as health and medicine, these hallucinations can pose serious risks. This paper introduces HALO, a novel framework designed to enhance the accuracy and reliability of medical question-answering (QA) systems by focusing on the detection and mitigation of hallucinations. Our approach generates multiple variations of a given query using LLMs and retrieves relevant information from external open knowledge bases to enrich the context. We utilize maximum marginal relevance scoring to prioritize the retrieved context, which is then provided to LLMs for answer generation, thereby reducing the risk of hallucinations. The integration of LangChain further streamlines this process, resulting in a notable and robust increase in the accuracy of both open-source and commercial LLMs, such as Llama-3.1 (from 44% to 65%) and ChatGPT (from 56% to 70%). This framework underscores the critical importance of addressing hallucinations in medical QA systems, ultimately improving clinical decision-making and patient care. The open-source HALO is available at: https://github.com/ResponsibleAILab/HALO.
Abstract（参考訳）: 大規模言語モデル(LLM)は、かなり高度な自然言語処理タスクを持つが、不正確な、または信頼できない応答を生じさせる可能性がある。健康や医学などの重要な領域では、これらの幻覚は深刻なリスクを引き起こす可能性がある。本稿では,幻覚の検出と緩和に着目し,QAシステムの精度と信頼性を高めるための新しいフレームワークであるHALOを紹介する。提案手法は,LLMを用いて与えられたクエリの複数のバリエーションを生成し,外部のオープン知識ベースから関連する情報を取得し,コンテキストを豊かにする。我々は,最大限界関連スコアを用いて検索した文脈を優先順位付けし,回答生成のためにLLMに提供し,幻覚のリスクを低減する。 LangChainの統合により、Llama-3.1 (44%から65%) やChatGPT (56%から70%) といったオープンソースと商用両方のLCMの精度が著しく向上した。この枠組みは、医学的QAシステムにおける幻覚に対処することの重要性を強調し、最終的に臨床的意思決定と患者ケアを改善する。オープンソースのHALOは、https://github.com/ResponsibleAILab/HALOで入手できる。

関連論文リスト

Boosting Healthcare LLMs Through Retrieved Context [0.6144680854063939]
本研究では,医療領域におけるコンテキスト検索手法の境界について検討する。以上の結果から,LLMが確立した医療ベンチマークにおいて,最大規模のプライベートソリューションに匹敵するパフォーマンスを達成できることが判明した。特に,より信頼性の高いオープンエンド回答の生成を改善するために,OpenMedPromptを提案する。
論文参考訳（メタデータ） (2024-09-23T15:33:38Z)
Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
論文参考訳（メタデータ） (2024-07-12T16:47:34Z)
Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文参考訳（メタデータ） (2024-07-04T18:47:42Z)
KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチであるステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-04-03T02:52:07Z)
Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-02-16T11:55:40Z)
DelucionQA: Detecting Hallucinations in Domain-specific Question Answering [22.23664008053246]
幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
論文参考訳（メタデータ） (2023-12-08T17:41:06Z)
Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-11-22T11:08:38Z)
Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文参考訳（メタデータ） (2023-10-10T03:05:44Z)
Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。