論文の概要: Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization

• arxiv url: http://arxiv.org/abs/2502.06185v1
• Date: Mon, 10 Feb 2025 06:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:25.294198
• Title: Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
• Title（参考訳）: 談話駆動評価:長期文書要約における現実的矛盾を解消する
• Authors: Yang Zhong, Diane Litman,
• Abstract要約: 本研究では,事実整合性エラーを考察し,それらと談話分析の行を結びつける。 長文を談話にインスパイアされたチャンクに分解するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.218054628599005
• License:
• Abstract: Detecting factual inconsistency for long document summarization remains challenging, given the complex structure of the source article and long summary length. In this work, we study factual inconsistency errors and connect them with a line of discourse analysis. We find that errors are more common in complex sentences and are associated with several discourse features. We propose a framework that decomposes long texts into discourse-inspired chunks and utilizes discourse information to better aggregate sentence-level scores predicted by natural language inference models. Our approach shows improved performance on top of different model baselines over several evaluation benchmarks, covering rich domains of texts, focusing on long document summarization. This underscores the significance of incorporating discourse features in developing models for scoring summaries for long document factual inconsistency.
• Abstract（参考訳）: ソース記事の複雑な構造と長い要約の長さを考えると、文書要約の事実矛盾を検出することは依然として困難である。 本研究では,事実整合性エラーを考察し,それを談話分析の行で接続する。 複雑な文では誤りが一般的であり,いくつかの言論的特徴と関連していることがわかった。 本稿では,長文を談話にインスパイアされたチャンクに分解し,談話情報を用いて自然言語推論モデルにより予測される文レベルスコアをよりよく集約するフレームワークを提案する。 提案手法は,テキストのリッチな領域を網羅し,長い文書要約に焦点をあてた,複数の評価ベンチマークにおいて,異なるモデルベースライン上での性能向上を示す。 このことは、長い文書の事実整合性に関する要約を評価するモデルの開発において、談話の特徴を取り入れることの重要性を浮き彫りにしている。

関連論文リスト

• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• How Far are We from Robust Long Abstractive Summarization? [39.34743996451813]
  我々は、信頼できる要約を生成するために、長い文書抽象要約システム(モデルとメトリクス)を実装して評価する。 長期の文書評価指標について,人間の評価結果から,ROUGEは要約の関連性を評価する上で最善であることが明らかとなった。 我々は、より広い範囲の要約設定でメトリクスの開発に貢献できることを願って、注釈付き長いドキュメントデータセットをリリースします。
  論文  参考訳（メタデータ） (2022-10-30T03:19:50Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning [5.389540975316299]
  生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。 本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。 本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T09:08:40Z)
• A Divide-and-Conquer Approach to the Summarization of Long Documents [4.863209463405628]
  本稿では,長い文書のニューラル・サマライゼーションのための分割・畳み込み手法を提案する。 本手法は文書の談話構造を利用して,文の類似性を利用して問題をより小さな要約問題に分割する。 本稿では,シーケンス・ツー・シーケンスのRNNやトランスフォーマーなど,様々な要約モデルと組み合わせることで,要約性能の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-04-13T20:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。