論文の概要: On the Role of Summary Content Units in Text Summarization Evaluation

• arxiv url: http://arxiv.org/abs/2404.01701v1
• Date: Tue, 2 Apr 2024 07:09:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 17:38:25.635285
• Title: On the Role of Summary Content Units in Text Summarization Evaluation
• Title（参考訳）: テキスト要約評価における要約コンテンツユニットの役割について
• Authors: Marcel Nawrath, Agnieszka Nowak, Tristan Ratz, Danilo C. Walenta, Juri Opitz, Leonardo F. R. Ribeiro, João Sedoc, Daniel Deutsch, Simon Mille, Yixin Liu, Lining Zhang, Sebastian Gehrmann, Saad Mahamood, Miruna Clinciu, Khyathi Chandu, Yufang Hou,
• Abstract要約: 文章要約コンテンツ単位(SCU)を近似する2つの新しい戦略を示す。 STUとSMUは競合するが、最高の近似品質はSGUによって達成される。 また、簡単な文分解ベースライン(SSU)を通して、SCUが短い要約をランク付けする際に最も価値を提供するが、ランキングシステムや長い要約ではそれほど役に立たないことを示す。
• 参考スコア（独自算出の注目度）: 39.054511238166796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the heart of the Pyramid evaluation method for text summarization lie human written summary content units (SCUs). These SCUs are concise sentences that decompose a summary into small facts. Such SCUs can be used to judge the quality of a candidate summary, possibly partially automated via natural language inference (NLI) systems. Interestingly, with the aim to fully automate the Pyramid evaluation, Zhang and Bansal (2021) show that SCUs can be approximated by automatically generated semantic role triplets (STUs). However, several questions currently lack answers, in particular: i) Are there other ways of approximating SCUs that can offer advantages? ii) Under which conditions are SCUs (or their approximations) offering the most value? In this work, we examine two novel strategies to approximate SCUs: generating SCU approximations from AMR meaning representations (SMUs) and from large language models (SGUs), respectively. We find that while STUs and SMUs are competitive, the best approximation quality is achieved by SGUs. We also show through a simple sentence-decomposition baseline (SSUs) that SCUs (and their approximations) offer the most value when ranking short summaries, but may not help as much when ranking systems or longer summaries.
• Abstract（参考訳）: テキスト要約のためのピラミッド評価手法の核心は、人書き要約コンテンツユニット(SCU)にある。 これらのSCUは、要約を小さな事実に分解する簡潔な文である。 このようなSCUは、自然言語推論(NLI)システムによって部分的に自動化される可能性のある、候補の要約の品質を判断するために使用することができる。 興味深いことに、ピラミッドの評価を完全に自動化することを目的として、Zhang and Bansal (2021)は、自動的に生成されたセマンティックロール三重項(STU)によってSCUを近似できることを示した。 しかし、現在いくつかの疑問が答えを欠いている。 i)SCUの利点を享受できる他の方法がありますか? 二 最も価値の高いSCU(又はそれらの近似)がどの条件下にあるか。 本研究では,SCU を近似する2つの新しい手法について検討する。AMR の表現(SMU)から SCU 近似を生成することと,大言語モデル(SGU)から SCU 近似を生成することである。 STUとSMUは競合するが、最高の近似品質はSGUによって達成される。 また、簡単な文分解ベースライン(SSU)を通して、SCU(およびそれらの近似)が短い要約のランク付け時に最も価値を提供するが、ランキングシステムや長い要約ではそれほど役に立たないことを示す。

関連論文リスト

• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
  オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。 本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。 本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-16T02:00:17Z)
• AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
  抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
  論文  参考訳（メタデータ） (2024-01-10T18:39:46Z)
• NapSS: Paragraph-level Medical Text Simplification via Narrative Prompting and Sentence-matching Summarization [46.772517928718216]
  そこで我々はNapSSと呼ばれる2段階戦略を提案する。 NapSSは、オリジナルの物語の流れが保存されていることを保証しながら、関連コンテンツを特定し、単純化する。 本モデルは,英語医療コーパスのSeq2seqベースラインよりも有意に優れている。
  論文  参考訳（メタデータ） (2023-02-11T02:20:25Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Finding a Balanced Degree of Automation for Summary Evaluation [83.08810773093882]
  本稿では,フレキシブル・セミオートマチック・自動要約評価指標を提案する。 半自動 Lite2Pyramid は参照のための再利用可能な人間ラベル付き概要コンテンツユニット(SCU)を保持する 完全自動Lite3Pyramidは、自動的に抽出されたセマンティックトリプルトユニット(STU)をSCUに置き換える
  論文  参考訳（メタデータ） (2021-09-23T17:12:35Z)
• Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction [31.648764677078837]
  自動要約は、その最も重要な情報を保存しながら、文章の短いバージョンを生成する。 我々はこれら2つの側面を言語モデリングと意味的類似度メトリクスからなる教師なし目的関数でモデル化する。 提案手法は,ROUGEスコアによる教師なし文要約のための新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2020-05-04T19:01:55Z)
• Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths [14.762731718325002]
  MLS(Multi-level Summarizer)は、テキスト文書の要約を制御可能な長さで構築するための教師付き手法である。 MLSはMETEORスコアで14.70%の強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-02-18T19:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。