論文の概要: ArgCMV: An Argument Summarization Benchmark for the LLM-era

• arxiv url: http://arxiv.org/abs/2508.19580v1
• Date: Wed, 27 Aug 2025 05:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.503982
• Title: ArgCMV: An Argument Summarization Benchmark for the LLM-era
• Title（参考訳）: ArgCMV: LLM-eraの引数要約ベンチマーク
• Authors: Omkar Gurjar, Agam Goyal, Eshwar Chandrasekharan,
• Abstract要約: キーポイント抽出は、議論の要約において重要なタスクである。 KP抽出のための既存のアプローチは、人気のあるArgKP21データセットで評価されている。 SoTA大言語モデル(LLM)を用いて、ArgCMVと呼ばれる新しい引数キーポイント抽出データセットをキュレートする。
• 参考スコア（独自算出の注目度）: 7.80304437242923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key point extraction is an important task in argument summarization which involves extracting high-level short summaries from arguments. Existing approaches for KP extraction have been mostly evaluated on the popular ArgKP21 dataset. In this paper, we highlight some of the major limitations of the ArgKP21 dataset and demonstrate the need for new benchmarks that are more representative of actual human conversations. Using SoTA large language models (LLMs), we curate a new argument key point extraction dataset called ArgCMV comprising of around 12K arguments from actual online human debates spread across over 3K topics. Our dataset exhibits higher complexity such as longer, co-referencing arguments, higher presence of subjective discourse units, and a larger range of topics over ArgKP21. We show that existing methods do not adapt well to ArgCMV and provide extensive benchmark results by experimenting with existing baselines and latest open source models. This work introduces a novel KP extraction dataset for long-context online discussions, setting the stage for the next generation of LLM-driven summarization research.
• Abstract（参考訳）: キーポイント抽出は、引数から高レベルの短い要約を抽出する引数要約において重要なタスクである。 KP抽出のための既存のアプローチは、人気のあるArgKP21データセットで評価されている。 本稿では、ArgKP21データセットのいくつかの大きな制限を強調し、実際の人間の会話をより表わす新しいベンチマークの必要性を示す。 SoTA大言語モデル(LLM)を用いて、3K以上のトピックにまたがる実際のオンライン人間の議論から約12Kの議論からなるArgCMVと呼ばれる新しい引数キーポイント抽出データセットをキュレートする。 我々のデータセットは、長い参照引数、主観的談話ユニットの存在、ArgKP21よりも広い範囲のトピックなどの複雑さを示す。 既存の手法はArgCMVにうまく適応せず,既存のベースラインや最新のオープンソースモデルを実験することによって,広範なベンチマーク結果を提供する。 本研究は,LLMによる次世代要約研究の舞台となる,長文オンライン議論のための新しいKP抽出データセットを提案する。

関連論文リスト

• Enhancing Argument Summarization: Prioritizing Exhaustiveness in Key Point Generation and Introducing an Automatic Coverage Evaluation Metric [3.0754290232284562]
  キーポイント分析(KPA)タスクは、引数の集合のまとめを表すものとして引数の要約を定式化する。 キーポイント生成(KPG)と呼ばれるKPAのサブタスクは、引数からこれらのキーポイントを生成することに焦点を当てている。 本稿では,キーポイント生成のための新しい抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-04-17T23:00:29Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Indicative Summarization of Long Discussions [37.80285705350554]
  本稿では,大規模言語モデル (LLM) を用いた非教師なしの手法を提案する。 提案手法では、まず、引数文をクラスタ化し、抽象的な要約としてクラスタラベルを生成し、生成されたクラスタラベルを引数フレームに分類する。 広範に最適化されたプロンプトエンジニアリングアプローチに基づいて、生成クラスタラベリングとフレーム分類のための19LLMを評価する。
  論文  参考訳（メタデータ） (2023-11-03T12:44:59Z)
• Diversity Over Size: On the Effect of Sample and Topic Sizes for Topic-Dependent Argument Mining Datasets [49.65208986436848]
  本研究では,アーギュメント・マイニング・データセットの構成が,少数・ゼロショット設定における影響について検討する。 実験結果から, モデル性能の達成には微調整が必須であるが, 慎重に構成したトレーニングサンプルを用いることで, トレーニングサンプルサイズを最大90%まで下げることで, 最大性能の95%を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:14:32Z)
• IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument Mining Tasks [59.457948080207174]
  本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。 データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。 議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
  論文  参考訳（メタデータ） (2022-03-23T08:07:32Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• From Arguments to Key Points: Towards Automatic Argument Summarization [17.875273745811775]
  1トピックあたりのキーポイントの数は、たいていの場合、議論の大部分をカバーするのに十分であることを示す。 さらに、ドメインの専門家が事前にこれらのキーポイントを予測できることがわかりました。
  論文  参考訳（メタデータ） (2020-05-04T16:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。