論文の概要: Towards Understanding Omission in Dialogue Summarization
- arxiv url: http://arxiv.org/abs/2211.07145v1
- Date: Mon, 14 Nov 2022 06:56:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 17:41:00.721973
- Title: Towards Understanding Omission in Dialogue Summarization
- Title(参考訳): 対話要約における省略の理解に向けて
- Authors: Yicheng Zou, Kaitao Song, Xu Tan, Zhongkai Fu, Tao Gui, Qi Zhang,
Dongsheng Li
- Abstract要約: これまでの研究では, 省略が要約の質に影響を及ぼす主要な要因であることが示唆された。
本稿では,対話要約のための高品質なオミッションラベルを提供するOLDSデータセットを提案する。
- 参考スコア(独自算出の注目度): 45.932368303107104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dialogue summarization aims to condense the lengthy dialogue into a concise
summary, and has recently achieved significant progress. However, the result of
existing methods is still far from satisfactory. Previous works indicated that
omission is a major factor in affecting the quality of summarization, but few
of them have further explored the omission problem, such as how omission
affects summarization results and how to detect omission, which is critical for
reducing omission and improving summarization quality. Moreover, analyzing and
detecting omission relies on summarization datasets with omission labels (i.e.,
which dialogue utterances are omitted in the summarization), which are not
available in the current literature. In this paper, we propose the OLDS
dataset, which provides high-quality Omission Labels for Dialogue
Summarization. By analyzing this dataset, we find that a large improvement in
summarization quality can be achieved by providing ground-truth omission labels
for the summarization model to recover omission information, which demonstrates
the importance of omission detection for omission mitigation in dialogue
summarization. Therefore, we formulate an omission detection task and
demonstrate our proposed dataset can support the training and evaluation of
this task well. We also call for research action on omission detection based on
our proposed datasets. Our dataset and codes are publicly available.
- Abstract(参考訳): 対話要約は、長い対話を簡潔な要約にまとめることを目的としており、最近は大きな進歩を遂げている。
しかし、既存の方法の結果はまだ満足のいくものではない。
これまでの研究では, 省略が要約の質に影響を及ぼす主要な要因であることが示されたが, 省略が要約結果にどのように影響するか, 欠落の検出方法など, 省略問題をさらに探求する研究は少ない。
さらに, 省略文の分析と検出は, 現在の文献では利用できない, 省略ラベル付き要約データセット(すなわち, 要約文中の対話発話を省略する)に依存している。
本稿では,対話要約のための高品質なオミッションラベルを提供するOLDSデータセットを提案する。
このデータセットを解析することにより,対話要約における省略検出の重要性を実証するために,要約モデルに接頭辞省略ラベルを提供することにより,要約品質の大幅な向上が期待できることがわかった。
そこで我々は,この課題の学習と評価を支援するために,誤り検出タスクを定式化し,提案するデータセットを実証する。
また,提案するデータセットに基づく欠落検出に関する研究活動も求める。
データセットとコードは公開されています。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳(メタデータ) (2023-05-24T07:40:06Z) - Improving Faithfulness of Abstractive Summarization by Controlling
Confounding Effect of Irrelevant Sentences [38.919090721583075]
事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。
そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。
提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
論文 参考訳(メタデータ) (2022-12-19T18:51:06Z) - Questioning the Validity of Summarization Datasets and Improving Their
Factual Consistency [14.974996886744083]
SummFCは,事実整合性を改善したフィルタされた要約データセットである。
我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
論文 参考訳(メタデータ) (2022-10-31T15:04:20Z) - Making Science Simple: Corpora for the Lay Summarisation of Scientific
Literature [21.440724685950443]
PLOS(大規模)とeLife(medium-scale)の2つの新しい階層化データセットを提案する。
私たちは、データセット間の可読性と抽象性の異なるレベルを強調しながら、レイサマリーの徹底的な特徴付けを提供します。
論文 参考訳(メタデータ) (2022-10-18T15:28:30Z) - ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive
Summarization with Argument Mining [61.82562838486632]
我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。
我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
論文 参考訳(メタデータ) (2021-06-01T22:17:13Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳(メタデータ) (2021-05-21T11:58:50Z) - A Review on Fact Extraction and Verification [19.373340472113703]
本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。
我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。
このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
論文 参考訳(メタデータ) (2020-10-06T20:05:43Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。