論文の概要: PreSumm: Predicting Summarization Performance Without Summarizing

• arxiv url: http://arxiv.org/abs/2504.05420v1
• Date: Mon, 07 Apr 2025 18:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:40.460629
• Title: PreSumm: Predicting Summarization Performance Without Summarizing
• Title（参考訳）: PreSumm: 要約なしでの要約パフォーマンスの予測
• Authors: Steven Koniaev, Ori Ernst, Jackie Chi Kit Cheung,
• Abstract要約: 本稿では,ソース文書のみに基づいて要約性能を予測する新しいタスクであるPreSummを紹介する。 我々の分析では、PreSummスコアが低い文書の共通特性に光を当て、コヒーレンス問題や複雑な内容、明確な主テーマの欠如に悩まされることがしばしば明らかになった。
• 参考スコア（独自算出の注目度）: 20.149416378181872
• License:
• Abstract: Despite recent advancements in automatic summarization, state-of-the-art models do not summarize all documents equally well, raising the question: why? While prior research has extensively analyzed summarization models, little attention has been given to the role of document characteristics in influencing summarization performance. In this work, we explore two key research questions. First, do documents exhibit consistent summarization quality across multiple systems? If so, can we predict a document's summarization performance without generating a summary? We answer both questions affirmatively and introduce PreSumm, a novel task in which a system predicts summarization performance based solely on the source document. Our analysis sheds light on common properties of documents with low PreSumm scores, revealing that they often suffer from coherence issues, complex content, or a lack of a clear main theme. In addition, we demonstrate PreSumm's practical utility in two key applications: improving hybrid summarization workflows by identifying documents that require manual summarization and enhancing dataset quality by filtering outliers and noisy documents. Overall, our findings highlight the critical role of document properties in summarization performance and offer insights into the limitations of current systems that could serve as the basis for future improvements.
• Abstract（参考訳）: 最近の自動要約の進歩にもかかわらず、最先端のモデルはすべての文書を等しく要約していない。 先行研究は要約モデルを広範囲に分析してきたが、要約性能に影響を与える文書の特徴にはほとんど注意が払われていない。 本研究では,2つの重要な研究課題について考察する。 まず、文書は複数のシステムで一貫した要約品質を示すか? もしそうなら、要約を生成することなく、文書の要約性能を予測できますか? 両質問を肯定的に回答し,ソース文書のみに基づいて要約性能を予測する新しいタスクであるPreSummを紹介する。 我々の分析では、PreSummスコアが低い文書の共通特性に光を当て、コヒーレンス問題や複雑な内容、明確な主テーマの欠如に悩まされることがしばしば明らかになった。 さらに、PreSummの実用性は、手動要約を必要とする文書を識別することでハイブリッド要約ワークフローの改善と、アウトレーヤとノイズの多い文書をフィルタリングすることでデータセット品質の向上の2つの主要なアプリケーションで実証する。 全体としては、要約性能における文書特性の重要な役割を強調し、今後の改善の基盤となる現在のシステムの限界についての洞察を提供する。

関連論文リスト

• Write Summary Step-by-Step: A Pilot Study of Stepwise Summarization [48.57273563299046]
  本稿では,新たな文書が提案されるたびに追加の要約を生成するステップワイド要約の課題を提案する。 追加された要約は、新たに追加されたコンテンツを要約するだけでなく、以前の要約と一貫性を持たなければならない。 SSGは,自動計測と人的評価の両面から,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-08T05:37:26Z)
• Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval [0.0]
  意見要約のための部分モジュラ関数の集合を提案する。 意見要約は、その中に要約と感情検出のタスクが組み込まれている。 我々の関数は、文書の感情と要約の感情と良いROUGEスコアとの相関関係が良いような要約を生成する。
  論文  参考訳（メタデータ） (2024-05-20T21:27:18Z)
• QuOTeS: Query-Oriented Technical Summarization [0.2936007114555107]
  提案するQuOTeSは,潜在的参照の集合から研究の要約に関連する文章を検索するインタラクティブシステムである。 QuOTeS は Query-Focused Extractive Summarization と High-Recall Information Retrieval の技法を統合し、科学文書のインタラクティブなクエリ-Focused Summarization を提供する。 結果から,QuOTeSは肯定的なユーザエクスペリエンスを提供し,関連する,簡潔かつ完全なクエリ中心の要約を一貫して提供することが明らかになった。
  論文  参考訳（メタデータ） (2023-06-20T18:43:24Z)
• UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization [54.59104881168188]
  textscUniSummは、複数の要約タスクで事前訓練された、統合された数ショットの要約モデルである。 textscSummZooは、スクリーンショットの要約をよりよく評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2022-11-17T18:54:47Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Leveraging Information Bottleneck for Scientific Document Summarization [26.214930773343887]
  本稿では,科学的長期文書を要約するための教師なし抽出手法を提案する。 文圧縮にInformation Bottleneckの原理を用いた以前の研究に触発され、文書レベルの要約に拡張する。
  論文  参考訳（メタデータ） (2021-10-04T09:43:47Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Summaformers @ LaySumm 20, LongSumm 20 [14.44754831438127]
  本稿では,複数の領域から科学研究論文を要約する問題について考察する。 私たちはLaySummとLongSummという2種類の要約を区別します。 最新のTransformerベースのモデルを活用しながら、私たちのシステムはシンプルで直感的で、特定の紙セクションが人間の要約にどのように貢献するかに基づいています。
  論文  参考訳（メタデータ） (2021-01-10T13:48:12Z)
• Summarizing Text on Any Aspects: A Knowledge-Informed Weakly-Supervised Approach [89.56158561087209]
  文書に関連する任意の側面を要約する。 監視データがないため、我々は新しい弱い監督構築法とアスペクト・モデリング・スキームを開発した。 実験により,本手法は実文書と合成文書の両方を要約することで,性能の向上を図っている。
  論文  参考訳（メタデータ） (2020-10-14T03:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。