論文の概要: Quantifying Uncertainty in Deep Learning Approaches to Radio Galaxy
Classification
- arxiv url: http://arxiv.org/abs/2201.01203v1
- Date: Tue, 4 Jan 2022 15:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 15:55:06.262750
- Title: Quantifying Uncertainty in Deep Learning Approaches to Radio Galaxy
Classification
- Title（参考訳）: ラジオギャラクシー分類における深層学習手法の不確かさの定量化
- Authors: Devina Mohan, Anna M. M. Scaife, Fiona Porter, Mike Walmsley, Micah
Bowles
- Abstract要約: 個々の実験試料のモデル後部分散のレベルが、電波銀河をラベル付けする際の人間の不確実性と相関していることが示される。
種々の重み事前のモデル性能と不確実性校正について検討し、スパース事前がよりよく校正された不確実性推定を生成することを示唆する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we use variational inference to quantify the degree of
uncertainty in deep learning model predictions of radio galaxy classification.
We show that the level of model posterior variance for individual test samples
is correlated with human uncertainty when labelling radio galaxies. We explore
the model performance and uncertainty calibration for a variety of different
weight priors and suggest that a sparse prior produces more well-calibrated
uncertainty estimates. Using the posterior distributions for individual
weights, we show that we can prune 30% of the fully-connected layer weights
without significant loss of performance by removing the weights with the lowest
signal-to-noise ratio (SNR). We demonstrate that a larger degree of pruning can
be achieved using a Fisher information based ranking, but we note that both
pruning methods affect the uncertainty calibration for Fanaroff-Riley type I
and type II radio galaxies differently. Finally we show that, like other work
in this field, we experience a cold posterior effect, whereby the posterior
must be down-weighted to achieve good predictive performance. We examine
whether adapting the cost function to accommodate model misspecification can
compensate for this effect, but find that it does not make a significant
difference. We also examine the effect of principled data augmentation and find
that this improves upon the baseline but also does not compensate for the
observed effect. We interpret this as the cold posterior effect being due to
the overly effective curation of our training sample leading to likelihood
misspecification, and raise this as a potential issue for Bayesian deep
learning approaches to radio galaxy classification in future.
- Abstract（参考訳）: 本研究では,電波銀河分類の深層学習モデル予測における不確かさの程度を,変分推論を用いて定量化する。
個々の試料に対するモデル後方分散のレベルは、電波銀河のラベル付け時に人間の不確かさと相関することを示した。
種々の重み事前のモデル性能と不確実性校正について検討し、スパース事前がよりよく校正された不確実性推定を生成することを示唆する。
個々の重みに対する後部分布を用いて,低信号-雑音比 (SNR) の重みを除去することにより,完全連結層重みの30%を著しく損なうことなくプルークできることを示す。
我々は,フィッシャー情報に基づくランク付けにより,より多くのプルーニングが達成できることを実証するが,どちらのプルーニング方法もファナロフ・ライリー型銀河とii型電波銀河の不確実性校正に影響を与えることに留意する。
最後に, この分野での他の研究と同様, 後部効果が冷え込み, 後部が下降し, 良好な予測性能が得られることを示した。
モデル不特定性に対応するためにコスト関数を適用することで、この効果を補うことができるか検討するが、大きな違いはない。
また、原則データ拡張の効果を検証し、ベースラインに対して改善するが、観測した効果を補償しないことを示す。
我々はこれを、トレーニングサンプルが過度に効果的にキュレーションされ、誤った分類につながることによる寒冷後効果と解釈し、将来ベイズ深層学習による電波銀河分類の潜在的な問題として提起する。
関連論文リスト
- Differentiable Pareto-Smoothed Weighting for High-Dimensional Heterogeneous Treatment Effect Estimation [0.6906005491572401]
重み付き表現学習による数値的ロバストな推定器を開発する。
提案手法は,重み値を効果的に補正することにより,既存手法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-04-26T15:34:04Z) - Posterior samples of source galaxies in strong gravitational lenses with
score-based priors [107.52670032376555]
我々はスコアベースモデルを用いて、背景銀河の歪みのない画像の事前推定を符号化する。
アウト・オブ・ディストリビューション・データを用いた実験において、可能性と事前のバランスが、我々の期待にどのように合致しているかを示す。
論文 参考訳（メタデータ） (2022-11-07T19:00:42Z) - Propagating Variational Model Uncertainty for Bioacoustic Call Label
Smoothing [15.929064190849665]
ベイズニューラルネットワークが計算した予測不確実性信号を用いて、モデルが訓練している自己学習タスクの学習をガイドすることに焦点を当てる。
コストのかかるモンテカルロサンプリングを選ばず、近似的な隠れ分散をエンドツーエンドに伝播する。
損失計算における不確かさの明示的利用により, 変動モデルにより予測・校正性能が向上したことを示す。
論文 参考訳（メタデータ） (2022-10-19T13:04:26Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Neural Importance Sampling for Rapid and Reliable Gravitational-Wave
Inference [59.040209568168436]
まず、ニューラルネットワークを用いてベイズ後部への高速な提案を行い、その基礎となる可能性と事前に基づいて重み付けを行う。
本発明は,(1)ネットワーク不正確性のない修正後部,(2)提案案の評価と故障事例の同定のための性能診断(サンプル効率),(3)ベイズ証拠の偏りのない推定を提供する。
LIGOとVirgoで観測された42個のブラックホールをSEOBNRv4PHMとIMRPhenomHMXP波形モデルで解析した。
論文 参考訳（メタデータ） (2022-10-11T18:00:02Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - On Calibrated Model Uncertainty in Deep Learning [0.0]
損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。
損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2022-06-15T20:16:32Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Weight Pruning and Uncertainty in Radio Galaxy Classification [0.0]
我々は変分推論を用いて、電波銀河分類のモデル予測における不確かさの程度を定量化する。
個々の実験試料のモデル後部分散のレベルが、電波銀河をラベル付けする際の人間の不確実性と相関していることが示される。
論文 参考訳（メタデータ） (2021-11-23T05:01:27Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。