論文の概要: Comparing Methods for Extractive Summarization of Call Centre Dialogue

• arxiv url: http://arxiv.org/abs/2209.02472v1
• Date: Tue, 6 Sep 2022 13:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:26:37.606952
• Title: Comparing Methods for Extractive Summarization of Call Centre Dialogue
• Title（参考訳）: コールセンター対話の抽出要約法の比較
• Authors: Alexandra N. Uma, Dmitry Sityaev
• Abstract要約: そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides results of evaluating some text summarisation techniques for the purpose of producing call summaries for contact centre solutions. We specifically focus on extractive summarisation methods, as they do not require any labelled data and are fairly quick and easy to implement for production use. We experimentally compare several such methods by using them to produce summaries of calls, and evaluating these summaries objectively (using ROUGE-L) and subjectively (by aggregating the judgements of several annotators). We found that TopicSum and Lead-N outperform the other summarisation methods, whilst BERTSum received comparatively lower scores in both subjective and objective evaluations. The results demonstrate that even such simple heuristics-based methods like Lead-N ca n produce meaningful and useful summaries of call centre dialogues.
• Abstract（参考訳）: 本稿では,コンタクトセンターソリューションのコールサマリー作成を目的としたテキスト要約手法の評価結果を提供する。 特に,ラベル付きデータを必要とせず,比較的迅速かつ容易に本番環境に実装できる抽出型要約手法に注目した。 本研究では,複数のアノテータの判断を(ROUGE-Lを用いて)客観的に,そして主観的に(複数のアノテータの判断を集約することによって)これらのサマリを合成する手法を実験的に比較した。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的,客観的評価ともに比較的低いスコアを得た。 その結果,pb-n canのような単純なヒューリスティックスに基づく手法であっても,コールセンター対話の有意義で有用な要約が得られることがわかった。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• CASPR: Automated Evaluation Metric for Contrastive Summarization [4.310460539747285]
  本稿では,一対の要約のコントラストをよりよく測定するための自動評価指標CASPRを提案する。 従来のデータセットであるCoCoTRIPによる結果から,CASPRは,ベースラインと比較して,要約ペアのコントラスト性をより確実に捉えることができることが示された。
  論文  参考訳（メタデータ） (2024-04-23T23:27:29Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
  本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。 我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。 我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-11-01T17:44:35Z)
• Do You Hear The People Sing? Key Point Analysis via Iterative Clustering and Abstractive Summarisation [12.548947151123555]
  議論の要約は有望だが、現在未調査の分野である。 キーポイント分析の主な課題の1つは、高品質なキーポイント候補を見つけることである。 キーポイントの評価は 自動的に生成された要約が 役に立つことを保証するのに 不可欠です
  論文  参考訳（メタデータ） (2023-05-25T12:43:29Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries [74.28810048824519]
  ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。 それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-10-23T15:55:15Z)
• SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling [25.299937353444854]
  本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。 既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
  論文  参考訳（メタデータ） (2020-05-13T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。