論文の概要: AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2110.13511v1
• Date: Tue, 26 Oct 2021 09:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:19:44.743936
• Title: AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
• Title（参考訳）: autodeuq: 不確実性定量化による自動ディープアンサンブル
• Authors: Romain Egele, Romit Maulik, Krishnan Raghavan, Prasanna Balaprakash, Bethany Lusch
• Abstract要約: 本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。
• 参考スコア（独自算出の注目度）: 0.9449650062296824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are powerful predictors for a variety of tasks. However, they do not capture uncertainty directly. Using neural network ensembles to quantify uncertainty is competitive with approaches based on Bayesian neural networks while benefiting from better computational scalability. However, building ensembles of neural networks is a challenging task because, in addition to choosing the right neural architecture or hyperparameters for each member of the ensemble, there is an added cost of training each model. We propose AutoDEUQ, an automated approach for generating an ensemble of deep neural networks. Our approach leverages joint neural architecture and hyperparameter search to generate ensembles. We use the law of total variance to decompose the predictive variance of deep ensembles into aleatoric (data) and epistemic (model) uncertainties. We show that AutoDEUQ outperforms probabilistic backpropagation, Monte Carlo dropout, deep ensemble, distribution-free ensembles, and hyper ensemble methods on a number of regression benchmarks.
• Abstract（参考訳）: ディープニューラルネットワークは、さまざまなタスクの強力な予測手段である。 しかし、直接不確かさを捉えていない。 ニューラルネットワークアンサンブルを使って不確実性を定量化することは、ベイジアンニューラルネットワークに基づくアプローチと競合すると同時に、より良い計算スケーラビリティの恩恵を受ける。 しかしながら、ニューラルネットワークのアンサンブルの構築は、アンサンブルの各メンバーに対して適切なニューラルネットワークアーキテクチャやハイパーパラメータを選択することに加えて、各モデルをトレーニングするコストが加算されるため、難しい作業である。 本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 提案手法は,結合型ニューラルアーキテクチャとハイパーパラメータ探索を利用してアンサンブルを生成する。 総分散の法則を用いて、深層アンサンブルの予測分散をアレエータ(データ)と認識(モデル)の不確かさに分解する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
  本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。 提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。 本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-20T03:57:06Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Epistemic Neural Networks [25.762699400341972]
  原則として、アンサンブルに基づくアプローチは効果的な共同予測をもたらす。 しかし、大規模なアンサンブルを訓練する際の計算コストは禁じられる可能性がある。 従来のニューラルネットワークを補完するアーキテクチャであるEpinetを紹介します。
  論文  参考訳（メタデータ） (2021-07-19T14:37:57Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming [11.712073757744452]
  深層ニューラルネットワークアーキテクチャにおいて,各ニューロンに重要なスコアを割り当てるための混合整数プログラム(MIP)を導入する。 我々は、トレーニングされたニューラルネットワークの全体的な精度を維持するために必要な臨界ニューロンの数(すなわち、高いスコアを持つ)を最小限に抑えるために、ソルバを駆動する。
  論文  参考訳（メタデータ） (2020-02-17T21:32:47Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。