論文の概要: On Uncertainty Calibration and Selective Generation in Probabilistic Neural Summarization: A Benchmark Study

• arxiv url: http://arxiv.org/abs/2304.08653v1
• Date: Mon, 17 Apr 2023 23:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 16:23:45.730955
• Title: On Uncertainty Calibration and Selective Generation in Probabilistic Neural Summarization: A Benchmark Study
• Title（参考訳）: 確率論的神経要約における不確かさの校正と選択生成について:ベンチマークによる検討
• Authors: Polina Zablotskaia, Du Phan, Joshua Maynez, Shashi Narayan, Jie Ren, Jeremiah Liu
• Abstract要約: 要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。 これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。 確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
• 参考スコア（独自算出の注目度）: 14.041071717005362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep models for summarization attains impressive benchmark performance, but they are prone to generating miscalibrated predictive uncertainty. This means that they assign high confidence to low-quality predictions, leading to compromised reliability and trustworthiness in real-world applications. Probabilistic deep learning methods are common solutions to the miscalibration problem. However, their relative effectiveness in complex autoregressive summarization tasks are not well-understood. In this work, we thoroughly investigate different state-of-the-art probabilistic methods' effectiveness in improving the uncertainty quality of the neural summarization models, across three large-scale benchmarks with varying difficulty. We show that the probabilistic methods consistently improve the model's generation and uncertainty quality, leading to improved selective generation performance (i.e., abstaining from low-quality summaries) in practice. We also reveal notable failure patterns of probabilistic methods widely-adopted in NLP community (e.g., Deep Ensemble and Monte Carlo Dropout), cautioning the importance of choosing appropriate method for the data setting.
• Abstract（参考訳）: 最近の要約用深層モデルは印象的なベンチマーク性能を達成しているが、誤った予測の不確実性を生成する傾向がある。 これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。 確率的深層学習法は誤校正問題の一般的な解法である。 しかし、複雑な自己回帰的要約タスクにおける相対的な効果は十分に理解されていない。 そこで本研究では,難易度が異なる3つの大規模ベンチマークにおいて,神経要約モデルの不確実性品質を改善するために,様々な確率的手法の有効性を徹底的に検討する。 確率的手法はモデルの生成と不確実性の品質を一貫して改善し,選択的生成性能(すなわち低品質要約の省略)を実際に改善することを示す。 また,nlpコミュニティで広く採用されている確率的手法(ディープアンサンブルやモンテカルロ・ドロップアウトなど)の顕著な失敗パターンを明らかにし,データセットに適した方法を選択することの重要性を警告した。

関連論文リスト

• Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models [4.619907534483781]
  薬物と標的の相互作用を予測する計算モデルは、新しい治療薬の開発を加速するための貴重なツールである。 しかし、そのようなモデルはキャリブレーションが不十分であり、信頼性の低い不確実性推定をもたらす。 本研究では,ポストホックキャリブレーション法と不確実な定量化手法を組み合わせることで,モデルの精度とキャリブレーションを向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:29:00Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Exploring Predictive Uncertainty and Calibration in NLP: A Study on the Impact of Method & Data Scarcity [7.3372471678239215]
  我々は、幅広いアプローチから推定値の質を評価し、利用可能なデータ量に依存する。 事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
  論文  参考訳（メタデータ） (2022-10-20T15:42:02Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Variance based sensitivity analysis for Monte Carlo and importance sampling reliability assessment with Gaussian processes [0.0]
  本稿では,2つの不確実性源に対する故障推定器の感度を定量的に評価する手法を提案する。 この分析により、故障確率推定に関連する全誤差を制御でき、推定の精度基準を提供する。 本手法は, モンテカルロ法と重要サンプリング法の両方で提案され, 希少事象確率の推定を改善することを目的としている。
  論文  参考訳（メタデータ） (2020-11-30T17:06:28Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。