論文の概要: PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2307.12371v2
• Date: Fri, 3 May 2024 16:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 18:16:30.126621
• Title: PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization
• Title（参考訳）: PSentScore:対話要約における知覚極性の評価
• Authors: Yongxin Zhou, Fabien Ringeval, François Portet,
• Abstract要約: 本稿では,対話要約における情緒的コンテンツ保存の定量化を目的とした一連の尺度を紹介し,評価する。 以上の結果から,現在最先端の要約モデルでは,要約中の情緒的内容が十分に保存されていないことが示唆された。 対話サンプルのトレーニングセットを慎重に選択することで、生成した要約文の感情的内容の保存が向上することを示す。
• 参考スコア（独自算出の注目度）: 3.875021622948646
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic dialogue summarization is a well-established task with the goal of distilling the most crucial information from human conversations into concise textual summaries. However, most existing research has predominantly focused on summarizing factual information, neglecting the affective content, which can hold valuable insights for analyzing, monitoring, or facilitating human interactions. In this paper, we introduce and assess a set of measures PSentScore, aimed at quantifying the preservation of affective content in dialogue summaries. Our findings indicate that state-of-the-art summarization models do not preserve well the affective content within their summaries. Moreover, we demonstrate that a careful selection of the training set for dialogue samples can lead to improved preservation of affective content in the generated summaries, albeit with a minor reduction in content-related metrics.
• Abstract（参考訳）: 自動対話要約は、人間の会話から最も重要な情報を簡潔なテキスト要約に抽出することを目的とした、十分に確立された課題である。 しかし、既存のほとんどの研究は、事実情報を要約し、感情的な内容を無視し、人間のインタラクションを分析し、監視し、促進するための貴重な洞察を与えることに重点を置いている。 本稿では,対話要約における情緒的コンテンツ保存の定量化を目的とした,PSentScoreのセットを紹介し,評価する。 以上の結果から,現在最先端の要約モデルでは,要約中の情緒的内容が十分に保存されていないことが示唆された。 さらに, 対話サンプルのトレーニングセットを慎重に選択することで, コンテンツ関連指標の少なさにもかかわらず, 生成した要約文の感情的内容の保存性が向上することが実証された。

関連論文リスト

• Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks [0.0]
  本稿では,タスク関連情報を組み込むことによって,要約処理の促進を図ることを提案する。 その結果,タスク関連情報とモデルを統合することで,単語の誤り率が異なる場合でも要約精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-09-16T08:15:35Z)
• Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
  クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。 従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。 本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T17:56:39Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
  我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。 これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
  論文  参考訳（メタデータ） (2022-12-19T19:11:27Z)
• ED-FAITH: Evaluating Dialogue Summarization on Faithfulness [35.73012379398233]
  まず,対話要約のための忠実度尺度の体系的研究を行った。 我々は,ほとんどの指標が,ニュースデータセットでよく機能しているにもかかわらず,人間の判断と相関が低いことを観察した。 忠実度評価のための新しい尺度T0-Scoreを提案する。
  論文  参考訳（メタデータ） (2022-11-15T19:33:50Z)
• Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
  まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。 そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:22:43Z)
• Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization [4.226093500082746]
  本稿では,対話要約モデルを訓練するための欠点を補う自己教師型手法を提案する。 我々の原理は,対話文表現の文脈化能力を高めるために,前文対話文を用いて不整合情報の流れを検出することである。
  論文  参考訳（メタデータ） (2022-09-01T07:51:46Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling [61.67321200994117]
  顧客サービスシステムでは、長い音声対話のための要約を作成することにより、対話要約はサービス効率を高めることができる。 本研究では,高度に抽象的な要約を生成するトピック指向の対話要約に注目した。 SATM(Saliency-Awareural topic Model)と併用し,顧客サービス対話のトピック指向要約を目的とした,新しいトピック拡張型2段階対話要約器(TDS)を提案する。
  論文  参考訳（メタデータ） (2020-12-14T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。