論文の概要: A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2608.08180v1
- Date: Sat, 08 Aug 2026 15:16:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.711906
- Title: A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization
- Title（参考訳）: 抽象要約における関係レベル幻覚評価のための基礎的・分解的枠組み
- Abstract要約: 本稿では,抽象的な要約における関係幻覚を評価するための,洗練された基礎的な枠組みを提案する。
本稿では,従属型関係抽出アルゴリズムを導入することにより,経験的関係幻覚指数(RHI)を提案する。
また、RHIの正規化された定式化を導入し、データセットとモデル間のスケール不変比較を保証する。
- 参考スコア（独自算出の注目度）: 2.6967769052209873
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Abstractive text summarization systems frequently generate fluent yet unfaithful summaries by fabricating or distorting relationships between entities and events. Such relation-level hallucinations undermine the reliability of generated summaries, particularly in high-stakes domains. In this work, we present a refined and grounded framework for evaluating relation hallucination in abstractive summarization. We present the empirical Relation Hallucination Index (RHI) by introducing a dependency-aware relation extraction algorithm that incorporates lemmatization-based normalization, named entity grounded subject resolution, passive agent recovery, negation-aware verb modeling, reporting verb filtering, nominal relation fallback, clausal propagation, and systematic deduplication. These enhancements improve the structural fidelity of extracted relation triples and reduce spurious matches during evaluation. In addition, we introduce a normalized formulation of RHI to ensure scale-invariant comparison between datasets and models. The revised metric decomposes hallucination into interpretable components, aggregates relation hallucination metric into a normalized relation faithfulness score. Extensive evaluation across multiple state-of-the-art summarization models demonstrates that the grounded extraction process yields more stable and discriminative hallucination measurements. The proposed framework advances automated relation-level faithfulness evaluation and supports coherence-aware, hallucination-sensitive model analysis.
- Abstract（参考訳）: 抽象的なテキスト要約システムは、エンティティとイベントの関係をつくったり歪んだりすることで、流動的で不誠実な要約をしばしば生成する。
このような関係レベルの幻覚は、特に高い領域において生成された要約の信頼性を損なう。
本研究では,抽象的な要約における関係幻覚を評価するための,洗練された基礎的な枠組みを提案する。
本稿では, 補題化に基づく正規化, 名前付き対象解決, 受動的エージェント復元, 否定型動詞モデリング, 動詞フィルタリング, 名義的関係のフォールバック, クラサル伝搬, 体系的重複を組み込んだ依存性認識関係抽出アルゴリズムを導入することにより, 経験的関係幻覚指数(RHI)を提案する。
これらの改良により, 抽出された3重項の構造忠実度が向上し, 評価中のスプリアスマッチが低減される。
さらに、データセットとモデル間のスケール不変比較を保証するために、RHIの正規化された定式化を導入する。
改訂された計量は、幻覚を解釈可能な成分に分解し、関係幻覚計量を正規化された関係忠実度スコアに集約する。
複数の最先端の要約モデルにまたがる広範囲な評価は、基底抽出過程がより安定かつ差別的な幻覚測定をもたらすことを示す。
提案フレームワークは,コヒーレンス・アウェア,幻覚感受性モデル解析をサポートする。
関連論文リスト
- Chain-based Adaptive Reconfiguration Over Lattices for Hallucination Reduction [0.0]
CAROLは、大規模言語モデルにおけるテスト時幻覚の低減のための確率的フレームワークである。
CAROLは、生成された応答と信頼できるコンテキストの間の一貫性に基づいた意味的不確実性尺度を定義する。
CAROLは単一のフレームワーク内で幻覚の検出と緩和を統一する。
論文 参考訳（メタデータ） (2026-05-26T21:28:51Z) - K-Models: a Flexible and Interpretable Method for Ordinal Clustering with Application to Antigen-Antibody Interaction Profiles [65.21921642886367]
K-Modelsは、順序的制約を統合し、観察された機能プロファイルを生成するランダムプロセスの基本的な要素を推定する新しいフレームワークである。
提案手法はシミュレーションと実世界の応用を通して評価する。
論文 参考訳（メタデータ） (2026-05-14T13:35:44Z) - Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。
この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。
本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
論文 参考訳（メタデータ） (2025-10-18T16:26:16Z) - DEPTH: Hallucination-Free Relation Extraction via Dependency-Aware Sentence Simplification and Two-tiered Hierarchical Refinement [22.164114662885652]
DEPTHは、関係抽出パイプラインに依存性を意識したsEntence simPlificationと2階層階層改良を統合するフレームワークである。
以上の結果から,DEPTHは平均幻覚率を7.0%まで下げる一方で,最先端のベースラインよりも平均F1スコアを17.2%向上させることを示した。
論文 参考訳（メタデータ） (2025-08-20T03:35:24Z) - Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index [2.2427832125073737]
Entity Hallucination Index(EHI)の最適化のために、報酬駆動の微調整フレームワークを導入する。
EHI(英: EHI)は、生成された要約における名前の実体の存在、正しさ、根拠を定量化するために設計された計量である。
弊社のアプローチは、人書きの事実性アノテーションに頼らず、スケーラブルな微調整を可能にする。
論文 参考訳（メタデータ） (2025-07-30T15:00:00Z) - Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction [19.019881161010474]
関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。
既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。
本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
論文 参考訳（メタデータ） (2023-12-18T09:58:19Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳（メタデータ） (2023-11-16T02:56:29Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2023-08-24T16:06:36Z) - Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。
我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文 参考訳（メタデータ） (2023-05-25T15:26:13Z) - HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [63.64877263289319]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-05-04T17:56:48Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。