論文の概要: Unsupervised Summarization Re-ranking

• arxiv url: http://arxiv.org/abs/2212.09593v3
• Date: Fri, 26 May 2023 05:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 23:01:34.059725
• Title: Unsupervised Summarization Re-ranking
• Title（参考訳）: 教師なし要約の再評価
• Authors: Mathieu Ravaut, Shafiq Joty, Nancy Chen
• Abstract要約: 本稿では,教師なしモデルと教師なしモデルのパフォーマンスギャップを埋めることを目的として,教師なしモデルで要約候補を再ランクする手法を提案する。 提案手法では,教師なしPEGを最大7.27%,ChatGPTを最大6.86%改善した。
• 参考スコア（独自算出の注目度）: 5.460348342003244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of task-specific pre-training objectives, abstractive summarization models like PEGASUS offer appealing zero-shot performance on downstream summarization tasks. However, the performance of such unsupervised models still lags significantly behind their supervised counterparts. Similarly to the supervised setup, we notice a very high variance in quality among summary candidates from these models while only one candidate is kept as the summary output. In this paper, we propose to re-rank summary candidates in an unsupervised manner, aiming to close the performance gap between unsupervised and supervised models. Our approach improves the unsupervised PEGASUS by up to 7.27% and ChatGPT by up to 6.86% relative mean ROUGE across four widely-adopted summarization benchmarks ; and achieves relative gains of 7.51% (up to 23.73% from XSum to WikiHow) averaged over 30 zero-shot transfer setups (finetuning on a dataset, evaluating on another).
• Abstract（参考訳）: PEGASUSのような抽象的な要約モデルは、タスク固有の事前学習目標の増大に伴い、下流の要約タスクにおいて魅力的なゼロショットパフォーマンスを提供する。 しかし、そのような教師なしモデルの性能は教師なしモデルよりもかなり遅れている。 教師付き設定と同様に,サマリ候補間の品質のばらつきが極めて高いのに対して,サマリ出力として保持される候補は1つのみである。 本稿では,教師なしモデルと教師なしモデルの性能差を縮めるために,教師なし方式で要約候補をランク付けすることを提案する。 提案手法では,非教師付きペガサスを最大7.27%,chatgptを6.86%,広く採用されている4つの要約ベンチマークで平均平均ルージュを最大6.86%改善し,平均値が7.1%(xsumからwikihowまで最大23.73%)となり,30以上のゼロショット転送セットアップ(データセットの細調整,評価)を達成した。

関連論文リスト

• STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
  大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。 我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。 以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
  論文  参考訳（メタデータ） (2024-09-20T18:34:38Z)
• Self-supervised co-salient object detection via feature correspondence at multiple scales [27.664016341526988]
  本稿では,画像群における2段階の自己教師型手法を用いて,セグメンテーションアノテーションを必要とせず,共起性有色物体(CoSOD)を検出する手法を提案する。 我々は、画像間の局所パッチレベルの特徴対応を計算し、コサレント領域を検出する自己教師ネットワークを訓練する。 3つのCoSODベンチマークデータセットの実験では、我々のモデルは、対応する最先端モデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2024-03-17T06:21:21Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Unsupervised and semi-supervised co-salient object detection via segmentation frequency statistics [24.397029434125873]
  我々は,画像群内の共起する有意な物体を検出するための教師なし手法を開発した。 初めて、ImageNet-1kのような大規模なラベルなしデータセットを効果的に活用して、教師なしのCoSOD性能を改善することができることを示す。 ラベルなしデータの予測から誤信号の伝搬を回避するため,信頼度推定モジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-11T19:47:16Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• Zero-shot Video Moment Retrieval With Off-the-Shelf Models [17.254884920876695]
  そのようなタスクであるビデオモーメント検索(VMR)に対してゼロショット単純アプローチを提案する。 これまでのゼロショットアプローチでは,すべてのメトリクスにおいて,少なくとも2.5倍の性能向上を実現しています。 また、我々のゼロショットアプローチは、Recallメトリクスの非事前制限された教師付きモデルに勝り、mAPメトリクスに非常に近いことを示しています。
  論文  参考訳（メタデータ） (2022-11-03T23:11:04Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。