Fugu-MT 論文翻訳(概要): KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

論文の概要: KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

arxiv url: http://arxiv.org/abs/2608.03782v1
Date: Tue, 04 Aug 2026 15:03:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:23.262458
Title: KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation
Title（参考訳）: KnowHal: 総合的マルチモーダル幻覚評価のための知識駆動ベンチマーク
Abstract要約: 知識関連障害はしばしば別々に調査され、異なる幻覚の次元に統一的な評価枠組みが欠如している。本研究では,知識幻覚を4次元にわたるマルチモーダル幻覚評価に明示的に組み込んだベンチマークであるKnowHalを提案する。 KnowHalは、共有された画像やエンティティに対して肯定的と否定的な2つの質問を構築し、知覚的エラー、知識関連エラー、虚偽の前提受け入れの制御された比較を可能にする。
参考スコア（独自算出の注目度）: 9.739392718456843
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hallucination remains a critical challenge for developing trustworthy Multimodal Large Language Models (MLLMs). While existing benchmarks mainly focus on entity, attribute, and relation hallucinations, knowledge-related failures are often investigated separately, lacking a unified evaluation framework across different hallucination dimensions. To overcome this, we propose \textbf{KnowHal}, a benchmark that explicitly incorporates knowledge hallucination into multimodal hallucination evaluation spanning four dimensions: entity, attribute, relation, and knowledge. KnowHal constructs paired positive and negative questions over shared images and entities, enabling controlled comparisons among perceptual errors, knowledge-related errors, and false-premise acceptance. The benchmark contains 1,800 samples across 10 domains and 50 categories, constructed through a semi-automated pipeline combining LLM assistance, CLIP-based filtering, and human verification. We evaluate 14 representative MLLMs on KnowHal and conduct extensive analyses. Results show that the knowledge dimension consistently presents the greatest challenge for nearly all evaluated models, while most models exhibit substantial performance degradation on negative questions, revealing limited robustness to false premises. By unifying four hallucination dimensions with paired question design, KnowHal addresses an important gap in existing evaluation frameworks and enables a more comprehensive assessment of hallucinations in MLLMs.
Abstract（参考訳）: 幻覚は、信頼できるマルチモーダル言語モデル(MLLM)を開発する上で重要な課題である。既存のベンチマークは、主に実体、属性、関係幻覚に焦点を当てているが、知識関連の失敗はしばしば別々に調査され、異なる幻覚の次元にわたって統一された評価枠組みが欠如している。これを解決するために,知識幻覚を4次元にまたがるマルチモーダル幻覚評価に明示的に組み込んだベンチマーク「textbf{KnowHal}」を提案する。 KnowHalは、共有された画像やエンティティに対して肯定的と否定的な2つの質問を構築し、知覚的エラー、知識関連エラー、虚偽の前提受け入れの制御された比較を可能にする。ベンチマークには10のドメインと50のカテゴリにわたる1,800のサンプルが含まれており、LSMアシスト、CLIPベースのフィルタリング、人間の検証を組み合わせた半自動パイプラインを通じて構築されている。我々は、KnowHal上で14の代表的なMLLMを評価し、広範囲な分析を行う。その結果、ほぼすべての評価モデルにおいて、知識次元は一貫して最大の課題を示し、一方、ほとんどのモデルは負の質問に対してかなりの性能劣化を示し、偽の前提に対するロバスト性に制限があることが判明した。 KnowHalは、4つの幻覚次元をペアの質問設計で統一することにより、既存の評価フレームワークにおける重要なギャップに対処し、MLLMにおける幻覚のより包括的な評価を可能にする。

関連論文リスト

FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs [34.69526064799019]
MLLM(Multimodal Large Language Models)は幻覚に悩まされる。 F FREAKはMLLMの微細な幻覚評価のために設計された総合的なベンチマークである。 F FREAKはMLLMの詳細な視覚知覚における幻覚現象を革新的に評価する。
論文参考訳（メタデータ） (2026-03-20T08:52:39Z)
KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge [1.845601051662407]
大規模言語モデル (LLM) は説得力と理解力のある言語を生成する優れた能力を持っている。既存のベンチマークは静的な質問と狭い質問によって制限されており、カバー範囲の制限と誤解を招く評価につながっている。本稿では,知識グラフに基づく幻覚ベンチマークKGHaluBenchを紹介する。
論文参考訳（メタデータ） (2026-02-23T09:41:46Z)
HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs [20.59139155257836]
データ駆動および推論駆動コンポーネントに幻覚リスクを分解する統合理論フレームワークを導入する。本稿では,NTKをベースとしたHaluGuardについて紹介する。このスコアはNTKのジオメトリとキャプチャー表現を利用して,データ駆動および推論駆動の幻覚を共同で同定する。
論文参考訳（メタデータ） (2026-01-26T18:23:09Z)
SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文参考訳（メタデータ） (2025-08-13T07:58:01Z)
A Survey of Multimodal Hallucination Evaluation and Detection [52.03164192840023]
MLLM(Multi-modal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なパラダイムとして登場した。これらのモデルはしばしば幻覚に悩まされ、もっともらしいように見えるコンテンツを生成するが、入力内容や確立された世界的知識と矛盾する。本調査では,イメージ・トゥ・テキスト(I2T)およびテキスト・トゥ・イメージ(T2I)生成タスクを対象とした幻覚評価ベンチマークと検出方法の詳細なレビューを行う。
論文参考訳（メタデータ） (2025-07-25T07:22:42Z)
MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
マルチモーダル幻覚は多源性であり、様々な原因から生じる。既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
論文参考訳（メタデータ） (2025-05-30T05:54:36Z)
Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
論文参考訳（メタデータ） (2024-12-15T09:10:46Z)
Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文参考訳（メタデータ） (2024-08-18T10:07:02Z)
VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文参考訳（メタデータ） (2024-04-22T04:49:22Z)
KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチであるステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-04-03T02:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。