論文の概要: COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization

• arxiv url: http://arxiv.org/abs/2209.14569v1
• Date: Thu, 29 Sep 2022 06:11:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:01:42.641521
• Title: COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization
• Title（参考訳）: COLO: 一段階要約のためのコントラスト学習に基づく再分類フレームワーク
• Authors: Chenxin An, Ming Zhong, Zhiyong Wu, Qin Zhu, Xuanjing Huang, Xipeng Qiu
• Abstract要約: コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
• 参考スコア（独自算出の注目度）: 84.70895015194188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional training paradigms for extractive and abstractive summarization systems always only use token-level or sentence-level training objectives. However, the output summary is always evaluated from summary-level which leads to the inconsistency in training and evaluation. In this paper, we propose a Contrastive Learning based re-ranking framework for one-stage summarization called COLO. By modeling a contrastive objective, we show that the summarization model is able to directly generate summaries according to the summary-level score without additional modules and parameters. Extensive experiments demonstrate that COLO boosts the extractive and abstractive results of one-stage systems on CNN/DailyMail benchmark to 44.58 and 46.33 ROUGE-1 score while preserving the parameter efficiency and inference efficiency. Compared with state-of-the-art multi-stage systems, we save more than 100 GPU training hours and obtaining 3~8 speed-up ratio during inference while maintaining comparable results.
• Abstract（参考訳）: 抽出的および抽象的要約システムの伝統的な訓練パラダイムは、常にトークンレベルまたは文レベルの訓練目標のみを使用する。 しかし、アウトプット・サマリーは常に、トレーニングと評価の不整合につながる要約レベルから評価される。 本稿では,COLOと呼ばれる一段階要約のためのコントラスト学習に基づくフレームワークを提案する。 比較対象をモデル化することにより、要約モデルが追加モジュールやパラメータなしで要約レベルスコアに従って直接要約を生成することができることを示す。 広範な実験により、cnn/dailymailベンチマークにおける1段階システムの抽出および抽象化の結果が、パラメータ効率と推論効率を維持しながら44.58および46.33ルージュ-1スコアに向上することが示された。 最先端のマルチステージシステムと比較して、100以上のGPUトレーニング時間を節約し、比較結果を維持しながら、推論中に3～8のスピードアップ比を得る。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Unsupervised Video Summarization via Reinforcement Learning and a Trained Evaluator [5.530212768657544]
  本稿では,強化学習を用いた教師なし映像要約のための新しい手法を提案する。 それは、敵のジェネレータ-識別器アーキテクチャの不安定なトレーニングを含む、現在の教師なし手法の既存の制限に対処することを目的としている。 実験の結果, TVSum と SumMe のデータセットでそれぞれ62.3 と 54.5 のFスコアが得られた。
  論文  参考訳（メタデータ） (2024-07-05T05:08:06Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
  理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。 本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T23:47:53Z)
• PromptSum: Parameter-Efficient Controllable Abstractive Summarization [4.145362426026615]
  本稿では,PTとマルチタスク目的と個別エンティティプロンプトを組み合わせた抽象的な要約手法であるPromptSumを紹介する。 我々のモデル競合ROUGEは、一般的な抽象的な要約ベンチマークと、エンティティによる強い制御性を組み合わせた結果である。
  論文  参考訳（メタデータ） (2023-08-06T13:54:14Z)
• Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control [27.214742188672464]
  エンティティカバレッジ制御(ECC)を用いたエンティティレベルの幻覚の治療法を提案する。 ECCはエンティティカバレッジの精度を計算し、トレーニング例ごとに対応する制御コードをプリペンドする。 提案手法は,教師付き微調整およびゼロショット設定において,より忠実かつ健全な抽象的要約をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-05T18:52:19Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization [14.16710715347118]
  我々は抽象的な要約のための概念的に単純だが経験的に強力なフレームワークSimを提案する。 既存のトップスコアシステムに対して小さな変更を加えることで、Simは既存のトップスコアシステムの性能を大きなマージンで向上させることができる。 提案したモデルの結果はExplainaBoardプラットフォームにデプロイされ、研究者はより詳細な方法でシステムを理解することができる。
  論文  参考訳（メタデータ） (2021-06-03T14:34:17Z)
• The Summary Loop: Learning to Write Abstractive Summaries Without Examples [21.85348918324668]
  本研究は,与えられた長さ制約に対するカバレッジとフラエンシの組み合わせを最大化することに基づく,教師なし抽象的要約に対する新しいアプローチを提案する。 主要な用語は元のドキュメントから隠蔽され、現在の生成された要約を使ってカバレッジモデルで満たされなければならない。 一般的なニュース要約データセットでテストすると、従来の教師なし手法よりも2R-1ポイント以上性能が向上する。
  論文  参考訳（メタデータ） (2021-05-11T23:19:46Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。