論文の概要: Learning Structured Gaussians to Approximate Deep Ensembles
- arxiv url: http://arxiv.org/abs/2203.15485v1
- Date: Tue, 29 Mar 2022 12:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 13:37:29.959684
- Title: Learning Structured Gaussians to Approximate Deep Ensembles
- Title（参考訳）: 構造化ガウスの深層集合の近似学習
- Authors: Ivor J.A. Simpson, Sara Vicente, Neill D.F. Campbell
- Abstract要約: 本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
- 参考スコア（独自算出の注目度）: 10.055143995729415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes using a sparse-structured multivariate Gaussian to
provide a closed-form approximator for the output of probabilistic ensemble
models used for dense image prediction tasks. This is achieved through a
convolutional neural network that predicts the mean and covariance of the
distribution, where the inverse covariance is parameterised by a sparsely
structured Cholesky matrix. Similarly to distillation approaches, our single
network is trained to maximise the probability of samples from pre-trained
probabilistic models, in this work we use a fixed ensemble of networks. Once
trained, our compact representation can be used to efficiently draw spatially
correlated samples from the approximated output distribution. Importantly, this
approach captures the uncertainty and structured correlations in the
predictions explicitly in a formal distribution, rather than implicitly through
sampling alone. This allows direct introspection of the model, enabling
visualisation of the learned structure. Moreover, this formulation provides two
further benefits: estimation of a sample probability, and the introduction of
arbitrary spatial conditioning at test time. We demonstrate the merits of our
approach on monocular depth estimation and show that the advantages of our
approach are obtained with comparable quantitative performance.
- Abstract（参考訳）: 本稿では,高密度画像予測に使用される確率アンサンブルモデルの出力に,スパース構造多変量ガウスを用いた閉形式近似器を提案する。
これは、分布の平均と共分散を予測する畳み込みニューラルネットワークによって実現され、逆共分散は疎構造なコレスキー行列によってパラメータ化される。
蒸留アプローチと同様に、我々の単一ネットワークは、事前訓練された確率モデルからのサンプルの確率を最大化するように訓練されています。
訓練を済ませると、我々のコンパクト表現は、近似された出力分布から空間的に相関したサンプルを効率的に描画することができる。
重要なことに、このアプローチはサンプリングだけで暗黙的にではなく、形式的な分布において、予測における不確実性と構造化された相関を捉える。
これにより、モデルの直接のイントロスペクションが可能になり、学習した構造の可視化が可能になる。
さらに、この定式化は、サンプル確率の推定とテスト時の任意の空間条件の導入という2つの利点を提供する。
我々は,単眼深度推定におけるアプローチの利点を実証し,このアプローチの利点が同等の定量的性能で得られることを示す。
関連論文リスト
- Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。
提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文 参考訳（メタデータ） (2024-02-13T09:40:19Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Continuous and Distribution-free Probabilistic Wind Power Forecasting: A
Conditional Normalizing Flow Approach [1.684864188596015]
条件正規化フロー(CNF)に基づく確率的風力予測のためのデータ駆動型手法を提案する。
既存の手法とは対照的に、このアプローチは(非パラメトリックおよび量子的アプローチのように)分布自由であり、連続確率密度を直接生成することができる。
論文 参考訳（メタデータ） (2022-06-06T08:48:58Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2022-04-20T21:25:21Z) - Aggregating distribution forecasts from deep ensembles [0.0]
本稿では,ディープアンサンブルのための一般的な量子集約フレームワークを提案する。
深層アンサンブルからの予測分布を組み合わせることで,予測性能を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2022-04-05T15:42:51Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。
また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文 参考訳（メタデータ） (2021-05-09T23:13:58Z) - Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。
マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。
本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
論文 参考訳（メタデータ） (2020-06-23T16:39:59Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。