論文の概要: BRIO: Bringing Order to Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2203.16804v1
- Date: Thu, 31 Mar 2022 05:19:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 04:43:16.617878
- Title: BRIO: Bringing Order to Abstractive Summarization
- Title（参考訳）: BRIO:抽象要約に秩序をもたらす
- Authors: Yixin Liu, Pengfei Liu, Dragomir Radev, Graham Neubig
- Abstract要約: 非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
- 参考スコア（独自算出の注目度）: 107.97378285293507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abstractive summarization models are commonly trained using maximum
likelihood estimation, which assumes a deterministic (one-point) target
distribution in which an ideal model will assign all the probability mass to
the reference summary. This assumption may lead to performance degradation
during inference, where the model needs to compare several system-generated
(candidate) summaries that have deviated from the reference summary. To address
this problem, we propose a novel training paradigm which assumes a
non-deterministic distribution so that different candidate summaries are
assigned probability mass according to their quality. Our method achieves a new
state-of-the-art result on the CNN/DailyMail (47.78 ROUGE-1) and XSum (49.07
ROUGE-1) datasets. Further analysis also shows that our model can estimate
probabilities of candidate summaries that are more correlated with their level
of quality.
- Abstract（参考訳）: 抽象要約モデルは、理想モデルがすべての確率質量を基準要約に割り当てる決定論的(一点)目標分布を仮定した最大確率推定を用いて一般的に訓練される。
この仮定は、モデルが参照の要約から逸脱した複数のシステム生成(候補)要約を比較する必要がある推論中にパフォーマンスが低下する可能性がある。
この問題に対処するために,非決定論的分布を前提とした新たなトレーニングパラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
さらに,本モデルでは,その品質レベルとより相関した候補要約の確率を推定できることを示した。
関連論文リスト
- A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。
モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - PQMass: Probabilistic Assessment of the Quality of Generative Models
using Probability Mass Estimation [8.527898482146103]
生成モデルの品質を評価するための包括的サンプルベース手法を提案する。
提案手法により,同じ分布から2組のサンプルが引き出される確率を推定できる。
論文 参考訳（メタデータ） (2024-02-06T19:39:26Z) - MQAG: Multiple-choice Question Answering and Generation for Assessing
Information Consistency in Summarization [55.60306377044225]
最先端の要約システムは高度に流動的な要約を生成することができる。
しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。
本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T23:08:25Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-07T13:58:23Z) - Uncertainty-Aware Abstractive Summarization [3.1423034006764965]
ベイズ深層学習に基づく要約手法を提案する。
BARTとPEGの変動等価性は、複数のベンチマークデータセットで決定論的に比較した場合よりも優れていることを示す。
信頼性の高い不確実性尺度を持つことで、高い不確実性の生成された要約をフィルタリングすることにより、エンドユーザのエクスペリエンスを向上させることができる。
論文 参考訳（メタデータ） (2021-05-21T06:36:40Z) - One for More: Selecting Generalizable Samples for Generalizable ReID
Model [92.40951770273972]
本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。
提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
論文 参考訳（メタデータ） (2020-12-10T06:37:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。