論文の概要: CONFIT: Toward Faithful Dialogue Summarization with
Linguistically-Informed Contrastive Fine-tuning
- arxiv url: http://arxiv.org/abs/2112.08713v1
- Date: Thu, 16 Dec 2021 09:08:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 00:47:46.370983
- Title: CONFIT: Toward Faithful Dialogue Summarization with
Linguistically-Informed Contrastive Fine-tuning
- Title（参考訳）: CONFIT: 言語学的インフォームドコントラスト微調整による忠実な対話要約に向けて
- Authors: Xiangru Tang, Arjun Nair, Borui Wang, Bingyao Wang, Jai Desai, Aaron
Wade, Haoran Li, Asli Celikyilmaz, Yashar Mehdad, Dragomir Radev
- Abstract要約: 生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。
本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。
本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 5.389540975316299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Factual inconsistencies in generated summaries severely limit the practical
applications of abstractive dialogue summarization. Although significant
progress has been achieved by using pre-trained models, substantial amounts of
hallucinated content are found during the human evaluation. Pre-trained models
are most commonly fine-tuned with cross-entropy loss for text summarization,
which may not be an optimal strategy. In this work, we provide a typology of
factual errors with annotation data to highlight the types of errors and move
away from a binary understanding of factuality. We further propose a training
strategy that improves the factual consistency and overall quality of summaries
via a novel contrastive fine-tuning, called ConFiT. Based on our
linguistically-informed typology of errors, we design different modular
objectives that each target a specific type. Specifically, we utilize hard
negative samples with errors to reduce the generation of factual inconsistency.
In order to capture the key information between speakers, we also design a
dialogue-specific loss. Using human evaluation and automatic faithfulness
metrics, we show that our model significantly reduces all kinds of factual
errors on the dialogue summarization, SAMSum corpus. Moreover, our model could
be generalized to the meeting summarization, AMI corpus, and it produces
significantly higher scores than most of the baselines on both datasets
regarding word-overlap metrics.
- Abstract（参考訳）: 生成された要約における現実的な矛盾は抽象的な対話要約の実践的応用を著しく制限する。
事前学習したモデルを用いることで有意な進歩が得られたが、ヒトの評価中にかなりの量の幻覚内容が認められる。
事前学習されたモデルは、テキスト要約のためのクロスエントロピー損失で最もよく調整されるが、最適戦略ではないかもしれない。
本研究では,誤りの種類を強調し,事実性のバイナリ理解から遠ざけるために,アノテーションデータを用いた事実エラーの類型論を提供する。
さらに,ConFiTと呼ばれる新しいコントラスト微調整により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
言語的にインフォームドされたエラーの型をベースとして,特定のタイプを対象とする異なるモジュラー目的を設計する。
具体的には,誤りのある強陰性サンプルを用いて,事実矛盾の発生を減らす。
話者間の鍵となる情報をキャプチャするために,対話特有の損失も設計する。
人間の評価と自動忠実度測定値を用いて,対話要約におけるすべての事実誤り,SAMSum corpus を著しく低減することを示す。
さらに,本モデルは会議要約,AMIコーパスに一般化することができ,ワードオーバーラップメトリクスに関する両データセットのベースラインの大部分よりも有意に高いスコアを得られる。
関連論文リスト
- Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。
人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。
本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-11-23T15:24:47Z) - Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。
エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。
微調整モデルの性能をベースライン事前訓練モデルと比較する。
BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
論文 参考訳（メタデータ） (2024-10-22T09:25:04Z) - Factual Dialogue Summarization via Learning from Large Language Models [35.63037083806503]
大規模言語モデル(LLM)に基づく自動テキスト要約モデルは、より現実的に一貫した要約を生成する。
ゼロショット学習を用いて、LLMから記号的知識を抽出し、事実整合性(正)および矛盾性(負)の要約を生成する。
各種自動評価指標で確認したように,コヒーレンス,フラレンシ,関連性を保ちながら,より優れた事実整合性を実現する。
論文 参考訳（メタデータ） (2024-06-20T20:03:37Z) - Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。
我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。
我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
論文 参考訳（メタデータ） (2024-06-18T18:59:37Z) - What's under the hood: Investigating Automatic Metrics on Meeting Summarization [7.234196390284036]
会議要約は、オンライン交流の増加を考慮した重要な課題となっている。
現在のデフォルトのメトリクスは、観測可能なエラーをキャプチャするのに苦労しており、相関が弱い。
特定のエラーに正確に反応するのはサブセットのみであり、ほとんどの相関関係は、エラーが要約品質に与える影響を反映していないか、あるいは失敗していることを示している。
論文 参考訳（メタデータ） (2024-04-17T07:15:07Z) - RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。
制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。
提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
論文 参考訳（メタデータ） (2024-02-16T18:50:24Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳（メタデータ） (2023-01-25T09:33:11Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳（メタデータ） (2022-10-22T07:16:19Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳（メタデータ） (2022-10-21T07:22:43Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z) - CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in
Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。
参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文 参考訳（メタデータ） (2021-09-19T20:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。