論文の概要: Epistemic Neural Networks

• arxiv url: http://arxiv.org/abs/2107.08924v1
• Date: Mon, 19 Jul 2021 14:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:21:02.378485
• Title: Epistemic Neural Networks
• Title（参考訳）: 認識型ニューラルネットワーク
• Authors: Ian Osband, Zheng Wen, Mohammad Asghari, Morteza Ibrahimi, Xiyuan Lu, and Benjamin Van Roy
• Abstract要約: 本研究では, 深層学習における不確実性モデリングのためのインタフェースとして, テキスタイルニューラルネットワーク(ENN)を導入した。 我々は、ディープラーニングにおける不確実性モデリングに対するいくつかの標準的アプローチを評価し、それらの性能に大きな違いがあることを見出した。 我々は,新しいENNアーキテクチャが,統計的品質と計算コストの両方で性能を向上できることを示す。
• 参考スコア（独自算出の注目度）: 29.864502624271378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the \textit{epistemic neural network} (ENN) as an interface for uncertainty modeling in deep learning. All existing approaches to uncertainty modeling can be expressed as ENNs, and any ENN can be identified with a Bayesian neural network. However, this new perspective provides several promising directions for future research. Where prior work has developed probabilistic inference tools for neural networks; we ask instead, `which neural networks are suitable as tools for probabilistic inference?'. We propose a clear and simple metric for progress in ENNs: the KL-divergence with respect to a target distribution. We develop a computational testbed based on inference in a neural network Gaussian process and release our code as a benchmark at \url{https://github.com/deepmind/enn}. We evaluate several canonical approaches to uncertainty modeling in deep learning, and find they vary greatly in their performance. We provide insight to the sensitivity of these results and show that our metric is highly correlated with performance in sequential decision problems. Finally, we provide indications that new ENN architectures can improve performance in both the statistical quality and computational cost.
• Abstract（参考訳）: 深層学習における不確実性モデリングのためのインタフェースとして, ENN(textit{epistemic Neural Network)を導入した。 既存の不確実性モデリングのアプローチはすべて ENN として表現でき、任意の ENN はベイズニューラルネットワークと同一視できる。 しかし、この新しい視点は将来の研究に有望ないくつかの方向性をもたらす。 従来の研究では、ニューラルネットワークの確率的推論ツールを開発したが、代わりに、どのニューラルネットワークが確率的推論のツールに適しているのか? 対象分布に対するKL偏差(KL-divergence)を提案する。 ニューラルネットワークガウス過程の推論に基づいて計算テストベッドを開発し、ベンチマークとして \url{https://github.com/deepmind/enn} でコードをリリースする。 ディープラーニングにおける不確実性モデリングに対するいくつかの標準的アプローチを評価し,その性能に大きな変化があることを見いだした。 我々は,これらの結果の感度に関する洞察を提供し,各指標が逐次的決定問題における性能と高い相関関係にあることを示す。 最後に,新しいENNアーキテクチャが,統計的品質と計算コストの両方で性能を向上させることを示す。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Neural Bayesian Network Understudy [13.28673601999793]
  ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。 ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-15T15:56:51Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification [0.9449650062296824]
  本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T09:12:23Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Learn Like The Pro: Norms from Theory to Size Neural Computation [3.848947060636351]
  非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。 本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。 連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-21T20:58:27Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。