論文の概要: EH-Benchmark Ophthalmic Hallucination Benchmark and Agent-Driven Top-Down Traceable Reasoning Workflow

• arxiv url: http://arxiv.org/abs/2507.22929v1
• Date: Thu, 24 Jul 2025 12:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:08.224011
• Title: EH-Benchmark Ophthalmic Hallucination Benchmark and Agent-Driven Top-Down Traceable Reasoning Workflow
• Title（参考訳）: EHベンチマーク眼科幻覚ベンチマークとエージェント駆動のトップダウントレーサブル推論ワークフロー
• Authors: Xiaoyu Pan, Yang Bai, Ke Zou, Yang Zhou, Jun Zhou, Huazhu Fu, Yih-Chung Tham, Yong Liu,
• Abstract要約: EH-Benchmarkは、医学大言語モデルにおける幻覚を評価するために設計された新しい眼科ベンチマークである。 特定のタスクとエラータイプに基づいて幻覚を視覚的理解と論理的構成の2つの主要クラスに分類する。 我々のフレームワークは、両方の幻覚、精度、解釈可能性、信頼性を著しく軽減します。
• 参考スコア（独自算出の注目度）: 43.82288530883818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical Large Language Models (MLLMs) play a crucial role in ophthalmic diagnosis, holding significant potential to address vision-threatening diseases. However, their accuracy is constrained by hallucinations stemming from limited ophthalmic knowledge, insufficient visual localization and reasoning capabilities, and a scarcity of multimodal ophthalmic data, which collectively impede precise lesion detection and disease diagnosis. Furthermore, existing medical benchmarks fail to effectively evaluate various types of hallucinations or provide actionable solutions to mitigate them. To address the above challenges, we introduce EH-Benchmark, a novel ophthalmology benchmark designed to evaluate hallucinations in MLLMs. We categorize MLLMs' hallucinations based on specific tasks and error types into two primary classes: Visual Understanding and Logical Composition, each comprising multiple subclasses. Given that MLLMs predominantly rely on language-based reasoning rather than visual processing, we propose an agent-centric, three-phase framework, including the Knowledge-Level Retrieval stage, the Task-Level Case Studies stage, and the Result-Level Validation stage. Experimental results show that our multi-agent framework significantly mitigates both types of hallucinations, enhancing accuracy, interpretability, and reliability. Our project is available at https://github.com/ppxy1/EH-Benchmark.
• Abstract（参考訳）: 医学大言語モデル(MLLM)は眼科診断において重要な役割を担い、視力低下に対処する重要な可能性を秘めている。 しかし、それらの精度は、限られた眼科知識、視覚的局所化と推論能力の欠如、および、正確な病変検出と疾患診断を総括的に阻害する多モード眼科データの不足に起因する幻覚によって制約される。 さらに、既存の医療ベンチマークでは、様々な種類の幻覚を効果的に評価したり、それらを緩和するための実用的なソリューションを提供しられなかった。 以上の課題に対処するために,MLLMの幻覚を評価するために設計された新しい眼科ベンチマークであるEH-Benchmarkを紹介する。 特定のタスクとエラータイプに基づいてMLLMの幻覚を視覚的理解と論理的構成の2つの主要クラスに分類する。 MLLMが視覚処理よりも言語に基づく推論に大きく依存していることを踏まえ,知識レベル検索ステージ,タスクレベルケーススタディステージ,結果レベル検証ステージなど,エージェント中心の3段階のフレームワークを提案する。 実験の結果,マルチエージェント・フレームワークは幻覚の両タイプを著しく軽減し,精度,解釈可能性,信頼性を向上することがわかった。 私たちのプロジェクトはhttps://github.com/ppxy1/EH-Benchmarkで公開されています。

関連論文リスト

• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• LMOD: A Large Multimodal Ophthalmology Dataset and Benchmark for Large Vision-Language Models [38.78576472811659]
  大規模視覚言語モデル(LVLM)は、解剖情報を理解し、眼疾患を診断し、解釈と追跡計画の作成を支援する可能性がある。 我々は、クローズドソース、オープンソース、医療ドメインの13の最先端のLVLM代表をベンチマークした。 その結果,眼科領域では他の領域と比較してLVLMが有意に低下した。
  論文  参考訳（メタデータ） (2024-10-02T14:57:58Z)
• Detecting and Evaluating Medical Hallucinations in Large Vision Language Models [22.30139330566514]
  大規模ビジョン言語モデル(LVLM)は、医療アプリケーションにとってますます不可欠なものになっている。 LVLMは幻覚への感受性を継承する。 幻覚検出と評価に特化して設計された最初のベンチマークであるMed-HallMarkを紹介する。 また,正確な幻覚検出のための医療用LVLMであるMedHallDetectorも紹介した。
  論文  参考訳（メタデータ） (2024-06-14T17:14:22Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。