論文の概要: Uncertainty Quantification via Neural Posterior Principal Components
- arxiv url: http://arxiv.org/abs/2309.15533v2
- Date: Sat, 4 Nov 2023 16:26:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 20:50:55.464064
- Title: Uncertainty Quantification via Neural Posterior Principal Components
- Title(参考訳): 神経後主成分による不確かさの定量化
- Authors: Elias Nehme, Omer Yair, Tomer Michaeli
- Abstract要約: 不確実性定量化は、画像復元モデルの安全クリティカルドメインへの展開に不可欠である。
本稿では,入力画像の後方分布のPCをニューラルネットワークの単一前方通過で予測する手法を提案する。
提案手法は, インスタンス適応型不確実性方向を確実に伝達し, 後部サンプリングに匹敵する不確実性定量化を実現する。
- 参考スコア(独自算出の注目度): 26.26693707762823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is crucial for the deployment of image restoration
models in safety-critical domains, like autonomous driving and biological
imaging. To date, methods for uncertainty visualization have mainly focused on
per-pixel estimates. Yet, a heatmap of per-pixel variances is typically of
little practical use, as it does not capture the strong correlations between
pixels. A more natural measure of uncertainty corresponds to the variances
along the principal components (PCs) of the posterior distribution.
Theoretically, the PCs can be computed by applying PCA on samples generated
from a conditional generative model for the input image. However, this requires
generating a very large number of samples at test time, which is painfully slow
with the current state-of-the-art (diffusion) models. In this work, we present
a method for predicting the PCs of the posterior distribution for any input
image, in a single forward pass of a neural network. Our method can either wrap
around a pre-trained model that was trained to minimize the mean square error
(MSE), or can be trained from scratch to output both a predicted image and the
posterior PCs. We showcase our method on multiple inverse problems in imaging,
including denoising, inpainting, super-resolution, and biological
image-to-image translation. Our method reliably conveys instance-adaptive
uncertainty directions, achieving uncertainty quantification comparable with
posterior samplers while being orders of magnitude faster. Code and examples
are available at https://eliasnehme.github.io/NPPC/
- Abstract(参考訳): 不確かさの定量化は、自動運転や生物イメージングのような安全クリティカルな領域への画像復元モデルの導入に不可欠である。
これまで不確かさを可視化する手法は主にピクセル単位の見積もりに焦点を当ててきた。
しかし、ピクセルごとの熱マップは、ピクセル間の強い相関を捉えないため、一般的にはほとんど実用的ではない。
より自然な不確実性の尺度は、後方分布の主成分(pcs)に沿った分散に対応する。
理論的には、入力画像の条件生成モデルから生成されたサンプルにPCAを適用することにより、PCを計算できる。
しかし、これはテスト時に非常に多くのサンプルを生成する必要があり、現在の最先端(拡散)モデルでは痛ましいほど遅い。
本研究では,ニューラルネットワークの1回のフォワードパスにおいて,任意の入力画像に対する後続分布のpcsを予測する手法を提案する。
提案手法は,平均二乗誤差(MSE)を最小限に抑えるために訓練された事前学習モデルや,予測画像と後部PCの両方を出力するスクラッチからトレーニングすることができる。
本稿では,画像のデノナイズ,塗布,超解像,生体画像間翻訳など,画像の逆問題について紹介する。
提案手法は, インスタンス適応型不確実性方向を確実に伝達し, 後方サンプリング器に匹敵する不確実性定量化を実現する。
コードと例はhttps://eliasnehme.github.io/NPPC/で公開されている。
関連論文リスト
- Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-24T14:52:38Z) - Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
逆問題の正規化は、計算イメージングにおいて最重要となる。
本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。
第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
論文 参考訳(メタデータ) (2023-11-29T15:49:31Z) - Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。
提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
論文 参考訳(メタデータ) (2023-03-31T16:01:03Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Image-to-Image Regression with Distribution-Free Uncertainty
Quantification and Applications in Imaging [88.20869695803631]
真値を含むことが保証される各画素の周囲の不確実な間隔を導出する方法を示す。
画像から画像への回帰を3つのタスクで評価する。
論文 参考訳(メタデータ) (2022-02-10T18:59:56Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳(メタデータ) (2021-12-05T04:36:09Z) - Robustness via Uncertainty-aware Cycle Consistency [44.34422859532988]
非ペア画像-画像間の変換とは、対応する画像対を使わずに画像間マッピングを学習することを指す。
既存の手法は、外乱や予測の不確実性にロバスト性を明示的にモデル化することなく決定論的マッピングを学習する。
不確実性を考慮した一般化適応サイクル一貫性(UGAC)に基づく新しい確率的手法を提案する。
論文 参考訳(メタデータ) (2021-10-24T15:33:21Z) - Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。
既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。
Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
論文 参考訳(メタデータ) (2021-02-23T15:22:35Z) - RAIN: A Simple Approach for Robust and Accurate Image Classification
Networks [156.09526491791772]
既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。
本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。
RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。
STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
論文 参考訳(メタデータ) (2020-04-24T02:03:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。