論文の概要: MQAG: Multiple-choice Question Answering and Generation for Assessing Information Consistency in Summarization

• arxiv url: http://arxiv.org/abs/2301.12307v2
• Date: Thu, 7 Sep 2023 18:20:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 18:39:01.903334
• Title: MQAG: Multiple-choice Question Answering and Generation for Assessing Information Consistency in Summarization
• Title（参考訳）: MQAG:要約における情報整合性評価のための複数選択質問応答と生成
• Authors: Potsawee Manakul, Adian Liusie, Mark J. F. Gales
• Abstract要約: 最先端の要約システムは高度に流動的な要約を生成することができる。 しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。 本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
• 参考スコア（独自算出の注目度）: 55.60306377044225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art summarization systems can generate highly fluent summaries. These summaries, however, may contain factual inconsistencies and/or information not present in the source. Hence, an important component of assessing the quality of summaries is to determine whether there is information consistency between the source and the summary. Existing approaches are typically based on lexical matching or representation-based methods. In this work, we introduce an alternative scheme based on standard information-theoretic measures in which the information present in the source and summary is directly compared. We propose a Multiple-choice Question Answering and Generation framework, MQAG, which approximates the information consistency by computing the expected statistical distance between summary and source answer distributions over automatically generated multiple-choice questions. This approach exploits multiple-choice answer probabilities, as predicted answer distributions can be compared. We conduct experiments on four summary evaluation datasets: QAG-CNNDM/XSum, XSum-Hallucination, Podcast Assessment, and SummEval. Experiments show that MQAG, using models trained on SQuAD or RACE, outperforms existing evaluation methods on the majority of tasks.
• Abstract（参考訳）: 最先端の要約システムは高度に流動的な要約を生成することができる。 しかし、これらの要約には、ソースに存在しない事実的不一致と/または情報が含まれている可能性がある。 したがって、要約の品質を評価する重要な要素は、ソースと要約の間に情報整合性があるかどうかを決定することである。 既存のアプローチは典型的には語彙マッチングや表現ベースメソッドに基づいている。 本研究では,ソースと要約に存在する情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。 本稿では,自動生成された複数質問に対して,要約とソース応答分布との統計的距離を計算し,情報一貫性を近似する多選択質問応答生成フレームワークMQAGを提案する。 このアプローチは、予測された回答分布を比較できるため、マルチチョース回答確率を利用する。 QAG-CNNDM/XSum, XSum-Hallucination, Podcast Assessment, SummEvalの4つの要約評価データセットについて実験を行った。 実験の結果、MQAGはSQuADやRSEでトレーニングされたモデルを使用して、タスクの大部分で既存の評価方法よりも優れています。

関連論文リスト

• Aspect-oriented Consumer Health Answer Summarization [2.298110639419913]
  コミュニティ質問回答(Community Question-Answering、CQA)フォーラムは、人々が情報を求める方法、特に医療ニーズに関連するものに革命をもたらした。 単一のクエリに対する応答にはいくつかの回答があるため、特定の健康上の懸念に関連する重要な情報を把握することが難しくなる。 本研究は、この制限に対処するために、側面に基づく健康回答の要約に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-10T07:52:43Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
  本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。 本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。 最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T14:39:35Z)
• Multi-hop Inference for Question-driven Summarization [39.08269647808958]
  本稿では,新しい質問駆動抽象要約手法であるMulti-hop Selective Generator (MSG)を提案する。 MSGは、マルチホップ推論を質問駆動要約に取り入れ、生成した要約の正当化を提供する。 実験結果から,提案手法は2つの非ファクトイドQAデータセット上で常に最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T02:36:39Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)
• Asking and Answering Questions to Evaluate the Factual Consistency of Summaries [80.65186293015135]
  本稿では,QAGS (kags) と呼ばれる自動評価プロトコルを提案する。 QAGSは、要約とそのソースについて質問すると、要約が実際にソースと一致している場合、同様の回答が得られます。 QAGSは、使いやすく、現実的に一貫性のあるテキストを自動的に生成するための有望なツールであると考えています。
  論文  参考訳（メタデータ） (2020-04-08T20:01:09Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。