論文の概要: Analyzing and Evaluating Faithfulness in Dialogue Summarization
- arxiv url: http://arxiv.org/abs/2210.11777v1
- Date: Fri, 21 Oct 2022 07:22:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 14:44:21.392899
- Title: Analyzing and Evaluating Faithfulness in Dialogue Summarization
- Title（参考訳）: 対話要約における忠実性の分析と評価
- Authors: Bin Wang, Chen Zhang, Yan Zhang, Yiming Chen, Haizhou Li
- Abstract要約: まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
- 参考スコア（独自算出の注目度）: 67.07947198421421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dialogue summarization is abstractive in nature, making it suffer from
factual errors. The factual correctness of summaries has the highest priority
before practical applications. Many efforts have been made to improve
faithfulness in text summarization. However, there is a lack of systematic
study on dialogue summarization systems. In this work, we first perform the
fine-grained human analysis on the faithfulness of dialogue summaries and
observe that over 35% of generated summaries are faithfully inconsistent
respective the source dialogues. Furthermore, we present a new model-level
faithfulness evaluation method. It examines generation models with multi-choice
questions created by rule-based transformations. Experimental results show that
our evaluation schema is a strong proxy for the factual correctness of
summarization models. The human-annotated faithfulness samples and the
evaluation toolkit are released to facilitate future research toward faithful
dialogue summarization.
- Abstract（参考訳）: 対話要約は本質的に抽象的であり、事実的誤りに苦しむ。
要約の事実的正確性は、実用的応用よりも優先される。
テキスト要約の忠実性を改善するために多くの努力がなされている。
しかし,対話要約システムに関する体系的な研究が不足している。
本稿では,まず対話要約の忠実性に関する精細な人間分析を行い,生成要約の35%以上がソース対話のそれぞれに忠実に一貫性がないことを観察する。
さらに,新しいモデルレベルの忠実度評価手法を提案する。
ルールベースの変換によって作成されるマルチチョース質問を持つ生成モデルを調べる。
実験結果から,評価スキーマは要約モデルの事実的正しさの強い指標であることがわかった。
人間の注釈付き忠実度サンプルと評価ツールキットを公開し、忠実な対話要約に向けた今後の研究を促進する。
関連論文リスト
- Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization [0.0]
本稿では,対話要約モデルの再現と評価について述べる。
本研究は、AMIデータセットを用いた対話要約モデルの徹底的な検討を含む。
主な目的は、人的評価を通じて、これらのモデルによって生成された要約の有意性と品質を評価することである。
論文 参考訳（メタデータ） (2024-10-21T12:47:57Z) - Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks [0.0]
本稿では,タスク関連情報を組み込むことによって,要約処理の促進を図ることを提案する。
その結果,タスク関連情報とモデルを統合することで,単語の誤り率が異なる場合でも要約精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-09-16T08:15:35Z) - Evaluating Robustness of Dialogue Summarization Models in the Presence
of Naturally Occurring Variations [13.749495524988774]
実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。
発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。
細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
論文 参考訳（メタデータ） (2023-11-15T05:11:43Z) - Improving Factuality of Abstractive Summarization via Contrastive Reward
Learning [77.07192378869776]
本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルだが効果的なコントラスト学習フレームワークを提案する。
実証的研究により,提案手法により,実測値のフィードバックから要約モデルを学習できることが実証された。
論文 参考訳（メタデータ） (2023-07-10T12:01:18Z) - Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。
我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。
自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文 参考訳（メタデータ） (2023-05-31T21:04:04Z) - Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。
これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
論文 参考訳（メタデータ） (2022-12-19T19:11:27Z) - A Focused Study on Sequence Length for Dialogue Summarization [68.73335643440957]
既存のモデルの出力とそれに対応する人間の参照の長さの差を解析する。
モデル設定を比較し,要約長予測のための有能な特徴を同定する。
第3に,要約長を十分に組み込むことができれば,既存のモデルに顕著な改善がもたらされることを示す。
論文 参考訳（メタデータ） (2022-09-24T02:49:48Z) - Dialogue Summarization with Supporting Utterance Flow Modeling and Fact
Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。
サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。
事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文 参考訳（メタデータ） (2021-08-03T03:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。