論文の概要: Uncertainty-Aware Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2105.10155v1
- Date: Fri, 21 May 2021 06:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 10:39:32.673665
- Title: Uncertainty-Aware Abstractive Summarization
- Title（参考訳）: 不確実性を考慮した抽象要約
- Authors: Alexios Gidiotis and Grigorios Tsoumakas
- Abstract要約: ベイズ深層学習に基づく要約手法を提案する。
BARTとPEGの変動等価性は、複数のベンチマークデータセットで決定論的に比較した場合よりも優れていることを示す。
信頼性の高い不確実性尺度を持つことで、高い不確実性の生成された要約をフィルタリングすることにより、エンドユーザのエクスペリエンスを向上させることができる。
- 参考スコア（独自算出の注目度）: 3.1423034006764965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach to summarization based on Bayesian deep learning.
We approximate Bayesian summary generation by first extending state-of-the-art
summarization models with Monte Carlo dropout and then using them to perform
multiple stochastic forward passes. This method allows us to improve
summarization performance by simply using the median of multiple stochastic
summaries. We show that our variational equivalents of BART and PEGASUS can
outperform their deterministic counterparts on multiple benchmark datasets. In
addition, we rely on Bayesian inference to measure the uncertainty of the model
when generating summaries. Having a reliable uncertainty measure, we can
improve the experience of the end user by filtering out generated summaries of
high uncertainty. Furthermore, our proposed metric could be used as a criterion
for selecting samples for annotation, and can be paired nicely with active
learning and human-in-the-loop approaches.
- Abstract（参考訳）: 本稿では,ベイズ深層学習に基づく要約手法を提案する。
まずモンテカルロドロップアウトを用いた最先端の要約モデルを拡張してベイズ要約生成を近似し,それを用いて複数の確率的フォワードパスを行う。
この手法により,複数の確率的要約の中央値を用いるだけで要約性能を向上させることができる。
BARTとPEGASUSの変動等価性は、複数のベンチマークデータセットで決定論的に比較した場合よりも優れていることを示す。
さらに、要約を生成する際のモデルの不確実性を測定するためにベイズ推定に依存する。
信頼性の高い不確実性尺度を持つことで、高い不確実性の生成された要約をフィルタリングすることで、エンドユーザのエクスペリエンスを向上させることができる。
さらに,提案手法をアノテーションのサンプル選択の基準として用いることができ,アクティブラーニングやヒューマン・イン・ザ・ループアプローチとうまく組み合わせることができる。
関連論文リスト
- Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。
本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
論文 参考訳（メタデータ） (2024-08-24T14:14:32Z) - On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。
スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳（メタデータ） (2023-11-22T18:40:45Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳（メタデータ） (2023-08-10T08:43:20Z) - Sample and Predict Your Latent: Modality-free Sequential Disentanglement
via Contrastive Estimation [2.7759072740347017]
外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。
実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。
提案手法は,既存の手法と比較して最先端の結果を示す。
論文 参考訳（メタデータ） (2023-05-25T10:50:30Z) - Robust probabilistic inference via a constrained transport metric [8.85031165304586]
我々は、パラメトリックな分布の族の近くに集中するように慎重に設計された指数関数的に傾いた経験的確に構築することで、新しい代替手段を提供する。
提案手法は,多種多様なロバストな推論問題に応用し,中心分布に付随するパラメータを推論する。
我々は,最先端の頑健なベイズ推論手法と比較した場合,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-03-17T16:10:06Z) - Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。
摂動を事前分布関数によるランダム変数として扱う。
収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
論文 参考訳（メタデータ） (2023-01-21T00:21:11Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳（メタデータ） (2022-03-31T05:19:38Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Bias-Robust Bayesian Optimization via Dueling Bandit [57.82422045437126]
ベイジアン最適化は、観測が逆偏りとなるような環境において考慮する。
情報指向サンプリング(IDS)に基づくダリングバンディットの新しい手法を提案する。
これにより、累積的後悔保証を伴う帯域幅の並列化のための、最初の効率的なカーネル化アルゴリズムが得られる。
論文 参考訳（メタデータ） (2021-05-25T10:08:41Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳（メタデータ） (2021-02-08T20:08:50Z) - $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the
Presence of Outliers [14.918826474979587]
古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。
本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。
多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
論文 参考訳（メタデータ） (2020-08-31T13:47:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。