論文の概要: Do You Hear The People Sing? Key Point Analysis via Iterative Clustering and Abstractive Summarisation

• arxiv url: http://arxiv.org/abs/2305.16000v1
• Date: Thu, 25 May 2023 12:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 15:19:21.524651
• Title: Do You Hear The People Sing? Key Point Analysis via Iterative Clustering and Abstractive Summarisation
• Title（参考訳）: 人々が歌うのを聞いたか? 反復クラスタリングと抽象要約によるキーポイント分析
• Authors: Hao Li, Viktor Schlegel, Riza Batista-Navarro, Goran Nenadic
• Abstract要約: 議論の要約は有望だが、現在未調査の分野である。 キーポイント分析の主な課題の1つは、高品質なキーポイント候補を見つけることである。 キーポイントの評価は 自動的に生成された要約が 役に立つことを保証するのに 不可欠です
• 参考スコア（独自算出の注目度）: 12.548947151123555
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Argument summarisation is a promising but currently under-explored field. Recent work has aimed to provide textual summaries in the form of concise and salient short texts, i.e., key points (KPs), in a task known as Key Point Analysis (KPA). One of the main challenges in KPA is finding high-quality key point candidates from dozens of arguments even in a small corpus. Furthermore, evaluating key points is crucial in ensuring that the automatically generated summaries are useful. Although automatic methods for evaluating summarisation have considerably advanced over the years, they mainly focus on sentence-level comparison, making it difficult to measure the quality of a summary (a set of KPs) as a whole. Aggravating this problem is the fact that human evaluation is costly and unreproducible. To address the above issues, we propose a two-step abstractive summarisation framework based on neural topic modelling with an iterative clustering procedure, to generate key points which are aligned with how humans identify key points. Our experiments show that our framework advances the state of the art in KPA, with performance improvement of up to 14 (absolute) percentage points, in terms of both ROUGE and our own proposed evaluation metrics. Furthermore, we evaluate the generated summaries using a novel set-based evaluation toolkit. Our quantitative analysis demonstrates the effectiveness of our proposed evaluation metrics in assessing the quality of generated KPs. Human evaluation further demonstrates the advantages of our approach and validates that our proposed evaluation metric is more consistent with human judgment than ROUGE scores.
• Abstract（参考訳）: 議論の要約は有望だが、現在未熟な分野である。 最近の研究は、キーポイント分析(KPA)と呼ばれるタスクにおいて、簡潔で健全な短文(キーポイント(KP))の形式でテキスト要約を提供することを目的としている。 kpaの主な課題の1つは、小さなコーパスでも数十の議論から高品質のキーポイント候補を見つけることである。 さらに、自動生成した要約が有用であることを保証するためには、キーポイントの評価が不可欠である。 要約を自動評価する手法は長年にわたってかなり進歩してきたが、主に文レベルの比較に焦点をあてており、要約(kpsの集合)全体の質を測定するのが困難である。 この問題を悪化させるのは、人間の評価が高価で再現不可能であるという事実である。 上記の問題に対処するために,反復クラスタリング手法を用いたニューラルネットワークトピックモデリングに基づく2段階の抽象要約フレームワークを提案し,人間がキーポイントを識別する方法と一致したキーポイントを生成する。 実験の結果,我々のフレームワークは,ROUGEと提案した評価指標の両面で,最大14ポイント(絶対値)の性能向上を実現し,KPAの最先端技術であることがわかった。 さらに,新しいセットベース評価ツールキットを用いて生成した要約を評価する。 提案する評価指標が生成したkpsの品質評価に有効であることを示す。 人間の評価は、我々のアプローチの利点をさらに証明し、提案した評価基準がROUGEスコアよりも人間の判断と一致していることを検証する。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Enhancing Argument Summarization: Prioritizing Exhaustiveness in Key Point Generation and Introducing an Automatic Coverage Evaluation Metric [3.0754290232284562]
  キーポイント分析(KPA)タスクは、引数の集合のまとめを表すものとして引数の要約を定式化する。 キーポイント生成(KPG)と呼ばれるKPAのサブタスクは、引数からこれらのキーポイントを生成することに焦点を当てている。 本稿では,キーポイント生成のための新しい抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-04-17T23:00:29Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Comparing Methods for Extractive Summarization of Call Centre Dialogue [77.34726150561087]
  そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
  論文  参考訳（メタデータ） (2022-09-06T13:16:02Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Every Bite Is an Experience: Key Point Analysis of Business Reviews [12.364867281334096]
  キーポイント分析(KPA)は、データの主点のテキスト的および定量的な要約を提供する要約フレームワークとして提案されている。 KPAの新規拡張により性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-12T12:22:12Z)
• Quantitative Argument Summarization and Beyond: Cross-Domain Key Point Analysis [17.875273745811775]
  完全自動解析が可能なキーポイントの自動抽出法を開発した。 キーポイント解析の適用性は議論データを超えていることを実証する。 さらなる貢献は、引数対キーポイントマッチングモデルの詳細な評価である。
  論文  参考訳（メタデータ） (2020-10-11T23:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。