論文の概要: Weight Pruning and Uncertainty in Radio Galaxy Classification
- arxiv url: http://arxiv.org/abs/2111.11654v1
- Date: Tue, 23 Nov 2021 05:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 02:38:27.533561
- Title: Weight Pruning and Uncertainty in Radio Galaxy Classification
- Title（参考訳）: ラジオギャラクシー分類における重み付けと不確かさ
- Authors: Devina Mohan, Anna Scaife
- Abstract要約: 我々は変分推論を用いて、電波銀河分類のモデル予測における不確かさの程度を定量化する。
個々の実験試料のモデル後部分散のレベルが、電波銀河をラベル付けする際の人間の不確実性と相関していることが示される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we use variational inference to quantify the degree of epistemic
uncertainty in model predictions of radio galaxy classification and show that
the level of model posterior variance for individual test samples is correlated
with human uncertainty when labelling radio galaxies. We explore the model
performance and uncertainty calibration for a variety of different weight
priors and suggest that a sparse prior produces more well-calibrated
uncertainty estimates. Using the posterior distributions for individual
weights, we show that signal-to-noise ratio (SNR) ranking allows pruning of the
fully-connected layers to the level of 30\% without significant loss of
performance, and that this pruning increases the predictive uncertainty in the
model. Finally we show that, like other work in this field, we experience a
cold posterior effect. We examine whether adapting the cost function in our
model to accommodate model misspecification can compensate for this effect, but
find that it does not make a significant difference. We also examine the effect
of principled data augmentation and find that it improves upon the baseline but
does not compensate for the observed effect fully. We interpret this as the
cold posterior effect being due to the overly effective curation of our
training sample leading to likelihood misspecification, and raise this as a
potential issue for Bayesian deep learning approaches to radio galaxy
classification in future.
- Abstract（参考訳）: 本研究では,電波銀河分類のモデル予測における疫学的不確実性の程度を変動推論を用いて定量化し,個々の実験試料のモデル後部変動のレベルが,電波銀河をラベル付けする際の人間の不確実性と相関していることを示す。
種々の重み事前のモデル性能と不確実性校正について検討し、スパース事前がよりよく校正された不確実性推定を生成することを示唆する。
個々の重みに対する後部分布を用いて、信号対雑音比(SNR)のランク付けにより、完全連結層を30\%のレベルまでプルーニングすることが可能であり、このプルーニングがモデルにおける予測不確実性を増大させることを示す。
最後に、この分野の他の研究と同様に、冷たい後部効果を経験していることを示します。
モデルの不特定性に対応するために,モデルにコスト関数を適用することで,この効果を補うことができるか検討するが,大きな違いは得られない。
また、原則データ拡張の効果を検証し、ベースラインに対して改善するが、観測した効果を完全に補償しないことを示す。
我々はこれを、トレーニングサンプルが過度に効果的にキュレーションされ、誤った分類につながることによる寒冷後効果と解釈し、将来ベイズ深層学習による電波銀河分類の潜在的な問題として提起する。
関連論文リスト
- Identifiable causal inference with noisy treatment and no side information [6.432072145009342]
本研究では,不正確な連続処理変数を仮定するモデルを提案する。
我々は,提案モデルの因果効果の推定値が,側情報や測定誤差の分散に関する知識がなくても同定可能であることを証明した。
我々の研究は、信頼できる因果推論を行うアプリケーションの範囲を広げている。
論文 参考訳（メタデータ） (2023-06-18T18:38:10Z) - Propagating Variational Model Uncertainty for Bioacoustic Call Label
Smoothing [15.929064190849665]
ベイズニューラルネットワークが計算した予測不確実性信号を用いて、モデルが訓練している自己学習タスクの学習をガイドすることに焦点を当てる。
コストのかかるモンテカルロサンプリングを選ばず、近似的な隠れ分散をエンドツーエンドに伝播する。
損失計算における不確かさの明示的利用により, 変動モデルにより予測・校正性能が向上したことを示す。
論文 参考訳（メタデータ） (2022-10-19T13:04:26Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - On Calibrated Model Uncertainty in Deep Learning [0.0]
損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。
損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2022-06-15T20:16:32Z) - How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
論文 参考訳（メタデータ） (2022-05-27T11:06:56Z) - Quantifying Uncertainty in Deep Learning Approaches to Radio Galaxy
Classification [0.0]
個々の実験試料のモデル後部分散のレベルが、電波銀河をラベル付けする際の人間の不確実性と相関していることが示される。
種々の重み事前のモデル性能と不確実性校正について検討し、スパース事前がよりよく校正された不確実性推定を生成することを示唆する。
論文 参考訳（メタデータ） (2022-01-04T15:31:18Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Increasing the efficiency of randomized trial estimates via linear
adjustment for a prognostic score [59.75318183140857]
ランダム化実験による因果効果の推定は臨床研究の中心である。
歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
論文 参考訳（メタデータ） (2020-12-17T21:10:10Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。