論文の概要: CONFIT: Toward Faithful Dialogue Summarization with
Linguistically-Informed Contrastive Fine-tuning
- arxiv url: http://arxiv.org/abs/2112.08713v1
- Date: Thu, 16 Dec 2021 09:08:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 00:47:46.370983
- Title: CONFIT: Toward Faithful Dialogue Summarization with
Linguistically-Informed Contrastive Fine-tuning
- Title（参考訳）: CONFIT: 言語学的インフォームドコントラスト微調整による忠実な対話要約に向けて
- Authors: Xiangru Tang, Arjun Nair, Borui Wang, Bingyao Wang, Jai Desai, Aaron
Wade, Haoran Li, Asli Celikyilmaz, Yashar Mehdad, Dragomir Radev
- Abstract要約: 生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。
本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。
本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 5.389540975316299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Factual inconsistencies in generated summaries severely limit the practical
applications of abstractive dialogue summarization. Although significant
progress has been achieved by using pre-trained models, substantial amounts of
hallucinated content are found during the human evaluation. Pre-trained models
are most commonly fine-tuned with cross-entropy loss for text summarization,
which may not be an optimal strategy. In this work, we provide a typology of
factual errors with annotation data to highlight the types of errors and move
away from a binary understanding of factuality. We further propose a training
strategy that improves the factual consistency and overall quality of summaries
via a novel contrastive fine-tuning, called ConFiT. Based on our
linguistically-informed typology of errors, we design different modular
objectives that each target a specific type. Specifically, we utilize hard
negative samples with errors to reduce the generation of factual inconsistency.
In order to capture the key information between speakers, we also design a
dialogue-specific loss. Using human evaluation and automatic faithfulness
metrics, we show that our model significantly reduces all kinds of factual
errors on the dialogue summarization, SAMSum corpus. Moreover, our model could
be generalized to the meeting summarization, AMI corpus, and it produces
significantly higher scores than most of the baselines on both datasets
regarding word-overlap metrics.
- Abstract（参考訳）: 生成された要約における現実的な矛盾は抽象的な対話要約の実践的応用を著しく制限する。
事前学習したモデルを用いることで有意な進歩が得られたが、ヒトの評価中にかなりの量の幻覚内容が認められる。
事前学習されたモデルは、テキスト要約のためのクロスエントロピー損失で最もよく調整されるが、最適戦略ではないかもしれない。
本研究では,誤りの種類を強調し,事実性のバイナリ理解から遠ざけるために,アノテーションデータを用いた事実エラーの類型論を提供する。
さらに,ConFiTと呼ばれる新しいコントラスト微調整により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
言語的にインフォームドされたエラーの型をベースとして,特定のタイプを対象とする異なるモジュラー目的を設計する。
具体的には,誤りのある強陰性サンプルを用いて,事実矛盾の発生を減らす。
話者間の鍵となる情報をキャプチャするために,対話特有の損失も設計する。
人間の評価と自動忠実度測定値を用いて,対話要約におけるすべての事実誤り,SAMSum corpus を著しく低減することを示す。
さらに,本モデルは会議要約,AMIコーパスに一般化することができ,ワードオーバーラップメトリクスに関する両データセットのベースラインの大部分よりも有意に高いスコアを得られる。
関連論文リスト
- SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳（メタデータ） (2023-01-25T09:33:11Z) - Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。
これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
論文 参考訳（メタデータ） (2022-12-19T19:11:27Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳（メタデータ） (2022-10-22T07:16:19Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳（メタデータ） (2022-10-21T07:22:43Z) - Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。
ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
論文 参考訳（メタデータ） (2022-09-29T19:26:23Z) - SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
論文 参考訳（メタデータ） (2022-05-19T16:01:47Z) - CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in
Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。
参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文 参考訳（メタデータ） (2021-09-19T20:05:21Z) - SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption
Evaluation via Typicality Analysis [20.026835809227283]
情報理論に根ざした評価の新しい定式化である「定型性」を導入する。
これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。
提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
論文 参考訳（メタデータ） (2021-06-02T19:58:20Z) - Understanding Factuality in Abstractive Summarization with FRANK: A
Benchmark for Factuality Metrics [17.677637487977208]
現代の要約モデルは、高度に流れるが、実際には信頼できない出力を生成する。
一般的なベンチマークがないため、自動生成したサマリーの事実性を測定するためのメトリクスを比較することはできない。
我々は,事実誤りの類型を考案し,それを用いて,最先端の要約システムから生成された要約の人間のアノテーションを収集する。
論文 参考訳（メタデータ） (2021-04-27T17:28:07Z) - Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。
要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。
我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
論文 参考訳（メタデータ） (2021-04-09T11:20:44Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳（メタデータ） (2020-09-19T02:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。