論文の概要: MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models

• arxiv url: http://arxiv.org/abs/2409.19492v1
• Date: Sun, 29 Sep 2024 00:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:16.869548
• Title: MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models
• Title（参考訳）: MedHalu:大規模言語モデルによるヘルスケアクエリに対する幻覚
• Authors: Vibhor Agarwal, Yiqiao Jin, Mohit Chandra, Munmun De Choudhury, Srijan Kumar, Nishanth Sastry,
• Abstract要約: 患者からのリアルタイム医療クエリに対するLCM生成反応における幻覚の先駆的な研究を行う。 MedHaluは、健康関連トピックが多種多様である、注意深く構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。
• 参考スコア（独自算出の注目度）: 26.464489158584463
• License:
• Abstract: The remarkable capabilities of large language models (LLMs) in language understanding and generation have not rendered them immune to hallucinations. LLMs can still generate plausible-sounding but factually incorrect or fabricated information. As LLM-empowered chatbots become popular, laypeople may frequently ask health-related queries and risk falling victim to these LLM hallucinations, resulting in various societal and healthcare implications. In this work, we conduct a pioneering study of hallucinations in LLM-generated responses to real-world healthcare queries from patients. We propose MedHalu, a carefully crafted first-of-its-kind medical hallucination dataset with a diverse range of health-related topics and the corresponding hallucinated responses from LLMs with labeled hallucination types and hallucinated text spans. We also introduce MedHaluDetect framework to evaluate capabilities of various LLMs in detecting hallucinations. We also employ three groups of evaluators -- medical experts, LLMs, and laypeople -- to study who are more vulnerable to these medical hallucinations. We find that LLMs are much worse than the experts. They also perform no better than laypeople and even worse in few cases in detecting hallucinations. To fill this gap, we propose expert-in-the-loop approach to improve hallucination detection through LLMs by infusing expert reasoning. We observe significant performance gains for all the LLMs with an average macro-F1 improvement of 6.3 percentage points for GPT-4.
• Abstract（参考訳）: 言語理解と生成における大きな言語モデル(LLM)の顕著な能力は、幻覚に免疫を与えていない。 LLMは、もっともらしい音を出すことができるが、実際には誤りまたは偽造情報を生成することができる。 LLMを利用したチャットボットが普及するにつれて、日常の人々は健康関連クエリーをよく尋ね、これらのLSM幻覚のリスクを負い、様々な社会的・医療的影響をもたらす。 本研究は, LLMによる患者からのリアルタイム医療クエリに対する幻覚反応の先駆的な研究である。 MedHaluは、健康に関するさまざまなトピックと、ラベル付き幻覚タイプと幻覚テキストスパンを持つLSMからの対応する幻覚応答を備えた、慎重に構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。 我々はまた、医療専門家、LLM、および一般人という3つの評価者のグループを雇い、これらの医療幻覚に対してより脆弱な人物を研究する。 LLMは専門家よりもはるかに悪いことが分かりました。 また、平民に劣らず、幻覚を検知するケースも少なくない。 このギャップを埋めるために、専門家の推論を注入してLLMによる幻覚検出を改善するためのエキスパート・イン・ザ・ループアプローチを提案する。 GPT-4の平均マクロF1改善率は6.3ポイントである。

関連論文リスト

• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States [19.343629282494774]
  大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
  論文  参考訳（メタデータ） (2024-02-15T06:14:55Z)
• Hallucination Detection and Hallucination Mitigation: An Investigation [13.941799495842776]
  大規模言語モデル(LLM)は、過去2年間に様々なアプリケーションで顕著な成功を収めてきた。 本報告は,幻覚検出と幻覚軽減の両面において,現在の文献を包括的にレビューすることを目的としている。
  論文  参考訳（メタデータ） (2024-01-16T13:36:07Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。