論文の概要: Quantifying Hallucinations in Language Language Models on Medical Textbooks

• arxiv url: http://arxiv.org/abs/2603.09986v1
• Date: Thu, 12 Feb 2026 16:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.527296
• Title: Quantifying Hallucinations in Language Language Models on Medical Textbooks
• Title（参考訳）: 医学教科書における言語モデルにおける幻覚の定量化
• Abstract要約: 教科書によるQAにおける幻覚の発生頻度と,QAに対する反応がモデルによって異なるのかを問う。 実験1ではLLaMA-70B-Instructが19.7%(95% CI 18.6～20.7)で幻覚した。
• 参考スコア（独自算出の注目度）: 5.868116026339879
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hallucinations, the tendency for large language models to provide responses with factually incorrect and unsupported claims, is a serious problem within natural language processing for which we do not yet have an effective solution to mitigate against. Existing benchmarks for medical QA rarely evaluate this behavior against a fixed evidence source. We ask how often hallucinations occur on textbook-grounded QA and how responses to medical QA prompts vary across models. We conduct two experiments: the first experiment to determine the prevalence of hallucinations for a prominent open source large language model (LLaMA-70B-Instruct) in medical QA given novel prompts, and the second experiment to determine the prevalence of hallucinations and clinician preference to model responses. We observed, in experiment one, with the passages provided, LLaMA-70B-Instruct hallucinated in 19.7\% of answers (95\% CI 18.6 to 20.7) even though 98.8\% of prompt responses received maximal plausibility, and observed in experiment two, across models, lower hallucination rates aligned with higher usefulness scores ($ρ=-0.71$, $p=0.058$). Clinicians produced high agreement (quadratic weighted $κ=0.92$) and ($τ_b=0.06$ to $0.18$, $κ=0.57$ to $0.61$) for experiments 1 and ,2 respectively
• Abstract（参考訳）: 大規模言語モデルが事実的かつ不正確な主張を回答する傾向にある幻覚は、自然言語処理において深刻な問題であり、それに対して効果的な解決策がまだない。 既存のQAのベンチマークでは、固定された証拠源に対してこの行動を評価することはめったにない。 教科書によるQAにおける幻覚の発生頻度と,QAに対する反応がモデルによって異なるのかを問う。 新規プロンプトを付与した医療用QAにおける著名なオープンソース大規模言語モデル(LLaMA-70B-インストラクション)に対する幻覚の有病率を決定する第1実験と,モデル応答に対する幻覚の有病率と臨床選択性を決定する第2実験の2つの実験を行った。 LLaMA-70B-Instruct Hallucinated in 19.7\% (95\% CI 18.6 - 20.7) while 98.8\% of prompt response received maximal plausibility, and observed in experiment two, across model, lower hallucination rate with higher usefulness scores (ρ=-0.71$, $p=0.058$)。 臨床医は、それぞれ実験1と実験2に対して、高い合意(4次重みのκ=0.92$)と$τ_b=0.06$ to $0.18$, $κ=0.57$ to $0.61$)を作成した。

関連論文リスト

• Mitigating Behavioral Hallucination in Multimodal Large Language Models for Sequential Images [6.48620624181578]
  SHE(Sequence Hallucination Eradication)は,幻覚を検知し緩和する軽量なフレームワークである。 また,行動幻覚の重症度を定量化する新しい指標(BEACH)を提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:08:52Z)
• Beyond Facts: Evaluating Intent Hallucination in Large Language Models [13.315302240710164]
  FAITHQAは20,068問題を含む意図幻覚の新しいベンチマークである。 我々は、最先端のモデルにおいても意図幻覚は一般的な問題であると考えている。 意図の幻覚を検出するための自動LLM生成評価指標であるCONSTRAINT SCOREを導入する。
  論文  参考訳（メタデータ） (2025-06-06T21:10:55Z)
• MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
  MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。 双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
  論文  参考訳（メタデータ） (2025-02-20T06:33:23Z)
• A Unified Hallucination Mitigation Framework for Large Vision-Language Models [18.595958586621943]
  幻覚緩和のための統一的な枠組みであるデンティストを提示する。 中心となるステップは、まずクエリを分類し、次に分類結果に基づいて幻覚緩和の異なるプロセスを実行することである。 MMbenchでは、画像品質の精度が13.44%/10.2%/15.8%向上した。
  論文  参考訳（メタデータ） (2024-09-24T22:36:58Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Evaluating Hallucinations in Chinese Large Language Models [65.4771562909392]
  我々は,中国大言語モデルにおける幻覚現象を測定するために,HaluQA(中国語幻覚質問回答)というベンチマークを構築した。 GLM-130B と ChatGPT の2種類の幻覚について考察した。 評価のために,モデル出力が幻覚的かどうかを判定するために,GPT-4を用いた自動評価手法を設計する。
  論文  参考訳（メタデータ） (2023-10-05T07:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。