論文の概要: CHI: A Composite Hallucination Index Unifying Entity, Relation, and Quantity Dimensions for Summarization Evaluation

• arxiv url: http://arxiv.org/abs/2609.33343v1
• Date: Sun, 27 Sep 2026 08:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:56:02.909587
• Title: CHI: A Composite Hallucination Index Unifying Entity, Relation, and Quantity Dimensions for Summarization Evaluation
• Title（参考訳）: CHI:要約評価のためのエンティティ、関係、量次元を統一した複合幻覚指数
• Abstract要約: 本研究では,信頼度誤差を3次元に分解する最初の統一幻覚尺度であるCHI(Hallucination Index)を紹介する。 各次元は、抽出性、正の幻覚、過焦点、負の幻覚、失焦点を表すベン図由来の因子に対する共有ソフトマックス正規化アーキテクチャを用いる。 我々は,4つのドメインにまたがる800のソース記事に対するCHIの有効性を,5世代システムからの要約で検証した。
• 参考スコア（独自算出の注目度）: 2.893226191913102
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Faithfulness evaluation of abstractive summaries remains an open challenge, with existing metrics addressing only isolated hallucination types: factual entity errors, relational inconsistencies, or numerical fabrications, without capturing their co-occurrence or interaction. We introduce CHI (Composite Hallucination Index), the first unified hallucination metric that decomposes faithfulness errors into three orthogonal dimensions: entity hallucination (EHI), relation hallucination (RHI*), and quantity hallucination (QHI). Each dimension employs a shared softmax-normalized architecture over Venn diagram-derived factors representing extractiveness, positive hallucination, over-focus, negative hallucination, and lost focus. The novel QHI component introduces tolerance-aware numerical matching with exact, epsilon, derived, and temporal comparison modes. We fuse the three dimensions via harmonic mean to produce a single composite score that penalizes weakness in any dimension. We validate CHI on 800 source articles spanning four domains (news, medical, legal, financial) with summaries from five generation systems. Empirical results demonstrate that: (i) the three dimensions are statistically orthogonal (mean rho = 0.148), confirming they capture distinct error types; (ii) CHI achieves the highest system-level correlation with human judgments (rho = 0.66, p = 0.006) on SummEval, outperforming ROUGE (rho = 0.53), EHI (rho = 0.58), and all individual components; and (iii) ablation studies confirm that all three dimensions contribute unique variance, with the full composite outperforming any individual component while providing decomposable error diagnostics unavailable from single-score baselines. CHI provides practitioners with a decomposable, interpretable, and efficient faithfulness metric suitable for both offline evaluation and online monitoring of summarization systems.
• Abstract（参考訳）: 抽象的な要約の忠実さの評価は依然としてオープンな課題であり、既存のメトリクスは、事実的実体エラー、関係的不整合、数値的生成など、その共起や相互作用を捉えることなく、孤立した幻覚のみに対処している。 本研究では,信頼度誤差を3つの直交次元(EHI),関係幻覚(RHI*),量幻覚(QHI)に分解する最初の統合幻覚指標であるCHI(Composite Hallucination Index)を紹介する。 各次元は、抽出性、正の幻覚、過焦点、負の幻覚、失焦点を表すベン図由来の因子に対する共有ソフトマックス正規化アーキテクチャを用いる。 新規なQHIコンポーネントは、正確性、エプシロン、導出性、時間的比較モードとの耐性を考慮した数値マッチングを導入している。 調和平均によって3次元を融合させ、任意の次元の弱さをペナルティ化する単一の合成スコアを生成する。 我々は,4つのドメイン(新,医療,法律,財務)にまたがる800のソース記事に対して,5世代のサマリーを用いてCHIを検証した。 実証的な結果は、 (i) 3次元は統計的に直交している(平均rho = 0.148)。 (二)CHIは、SummEval上での人間の判断(rho = 0.66, p = 0.006)、ROUGE(rho = 0.53)、EHI(rho = 0.58)、および全ての個別成分とのシステムレベルの最も高い相関を達成する。 三) アブレーション研究は、すべての3次元が特異な分散に寄与し、完全合成は個々の成分よりも優れ、単スコアベースラインから不可能な分解不能なエラー診断を提供する。 CHIは、要約システムのオフライン評価とオンラインモニタリングの両方に適した、分解可能、解釈可能、効率的な忠実度指標を実践者に提供します。

関連論文リスト

• From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data [0.0]
  本稿では,複合故障システムを構成する3つのアーキテクチャ決定の構造的帰結として幻覚を解析する。 自己認識の共起学習は、意味論的意味の統計的近接を代用し、実体的混乱を生み出す。 露光バイアス下での自己回帰復号の永続的な左から右へのコミットは、1つの間違ったトークンカスケードがリビジョンなしで出力シーケンス全体を通して前方に進むことを保証します。
  論文  参考訳（メタデータ） (2026-04-29T11:34:09Z)
• To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models [4.726777092009554]
  医用領域に適応した視覚言語モデル(VLM)は,視覚的質問応答ベンチマークにおいて高い性能を示した。 最も幻覚率の低いモデルは最もサイコファンである。 以上より,これらのモデルが臨床応用に有用となるためには,両特性の同時評価が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-23T22:51:54Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
  我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。 関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。 本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-18T10:07:02Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。