論文の概要: Comparing Methods for Extractive Summarization of Call Centre Dialogue
- arxiv url: http://arxiv.org/abs/2209.02472v1
- Date: Tue, 6 Sep 2022 13:16:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:26:37.606952
- Title: Comparing Methods for Extractive Summarization of Call Centre Dialogue
- Title(参考訳): コールセンター対話の抽出要約法の比較
- Authors: Alexandra N. Uma, Dmitry Sityaev
- Abstract要約: そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。
TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
- 参考スコア(独自算出の注目度): 77.34726150561087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides results of evaluating some text summarisation techniques
for the purpose of producing call summaries for contact centre solutions. We
specifically focus on extractive summarisation methods, as they do not require
any labelled data and are fairly quick and easy to implement for production
use. We experimentally compare several such methods by using them to produce
summaries of calls, and evaluating these summaries objectively (using ROUGE-L)
and subjectively (by aggregating the judgements of several annotators). We
found that TopicSum and Lead-N outperform the other summarisation methods,
whilst BERTSum received comparatively lower scores in both subjective and
objective evaluations. The results demonstrate that even such simple
heuristics-based methods like Lead-N ca n produce meaningful and useful
summaries of call centre dialogues.
- Abstract(参考訳): 本稿では,コンタクトセンターソリューションのコールサマリー作成を目的としたテキスト要約手法の評価結果を提供する。
特に,ラベル付きデータを必要とせず,比較的迅速かつ容易に本番環境に実装できる抽出型要約手法に注目した。
本研究では,複数のアノテータの判断を(ROUGE-Lを用いて)客観的に,そして主観的に(複数のアノテータの判断を集約することによって)これらのサマリを合成する手法を実験的に比較した。
TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的,客観的評価ともに比較的低いスコアを得た。
その結果,pb-n canのような単純なヒューリスティックスに基づく手法であっても,コールセンター対話の有意義で有用な要約が得られることがわかった。
関連論文リスト
- Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [68.09977874599925]
本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。
我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。
推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
論文 参考訳(メタデータ) (2024-03-01T10:38:07Z) - Little Giants: Exploring the Potential of Small LLMs as Evaluation
Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。
我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。
我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
論文 参考訳(メタデータ) (2023-11-01T17:44:35Z) - Rank Your Summaries: Enhancing Bengali Text Summarization via
Ranking-based Approach [0.0]
本稿では,単純かつ効果的なランキングベースアプローチを用いて,与えられたテキストの最も正確かつ情報的な要約を特定することを目的とする。
事前学習した4つの要約モデルを用いて要約を生成し、次いでテキストランキングアルゴリズムを適用して最も適した要約を識別する。
実験結果から, 事前学習したトランスモデルの強度を利用して, ベンガル文字要約の精度と有効性を大幅に向上させることが示唆された。
論文 参考訳(メタデータ) (2023-07-14T15:07:20Z) - Do You Hear The People Sing? Key Point Analysis via Iterative Clustering
and Abstractive Summarisation [12.548947151123555]
議論の要約は有望だが、現在未調査の分野である。
キーポイント分析の主な課題の1つは、高品質なキーポイント候補を見つけることである。
キーポイントの評価は 自動的に生成された要約が 役に立つことを保証するのに 不可欠です
論文 参考訳(メタデータ) (2023-05-25T12:43:29Z) - Is Summary Useful or Not? An Extrinsic Human Evaluation of Text
Summaries on Downstream Tasks [45.550554287918885]
本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。
我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。
要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
論文 参考訳(メタデータ) (2023-05-24T11:34:39Z) - A Training-free and Reference-free Summarization Evaluation Metric via
Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
トレーニング不要かつ参照不要な要約評価指標を提案する。
我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。
提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2021-06-26T05:11:27Z) - Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and
Context-Aware Auto-Encoders [59.038157066874255]
本稿では,手動ラベル付きデータを用いずにチャット要約を行うrankaeという新しいフレームワークを提案する。
RankAEは、中心性と多様性に応じてトピックの発話を同時に選択するトピック指向のランキング戦略で構成されています。
消音自動エンコーダは、選択された発話に基づいて簡潔でコンテキスト情報に基づいた要約を生成するように設計されています。
論文 参考訳(メタデータ) (2020-12-14T07:31:17Z) - Understanding the Extent to which Summarization Evaluation Metrics
Measure the Information Quality of Summaries [74.28810048824519]
ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。
それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
論文 参考訳(メタデータ) (2020-10-23T15:55:15Z) - SueNes: A Weakly Supervised Approach to Evaluating Single-Document
Summarization via Negative Sampling [25.299937353444854]
本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。
既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
論文 参考訳(メタデータ) (2020-05-13T15:40:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。