論文の概要: Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights
- arxiv url: http://arxiv.org/abs/2002.04033v1
- Date: Mon, 10 Feb 2020 07:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 07:58:53.391496
- Title: Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights
- Title(参考訳): 階層型ガウス過程によるベイズ型ニューラルネットワークの重み付け
- Authors: Theofanis Karaletsos, Thang D. Bui
- Abstract要約: 望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。
i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。
これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
- 参考スコア(独自算出の注目度): 16.538973310830414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic neural networks are typically modeled with independent weight
priors, which do not capture weight correlations in the prior and do not
provide a parsimonious interface to express properties in function space. A
desirable class of priors would represent weights compactly, capture
correlations between weights, facilitate calibrated reasoning about
uncertainty, and allow inclusion of prior knowledge about the function space
such as periodicity or dependence on contexts such as inputs. To this end, this
paper introduces two innovations: (i) a Gaussian process-based hierarchical
model for network weights based on unit embeddings that can flexibly encode
correlated weight structures, and (ii) input-dependent versions of these weight
priors that can provide convenient ways to regularize the function space
through the use of kernels defined on contextual inputs. We show these models
provide desirable test-time uncertainty estimates on out-of-distribution data,
demonstrate cases of modeling inductive biases for neural networks with kernels
which help both interpolation and extrapolation from training data, and
demonstrate competitive predictive performance on an active learning benchmark.
- Abstract(参考訳): 確率的ニューラルネットワークは通常、独立重み付きでモデル化され、これは事前の重み相関を捉えず、関数空間における特性を表現するための相似インターフェースを提供しない。
望ましい事前のクラスは、重みをコンパクトに表現し、重み間の相関を捉え、不確実性に関する校正的推論を促進し、周期性や入力などの文脈への依存といった関数空間に関する事前知識を含ませることである。
この目的のために,本稿では2つのイノベーションを紹介する。
i) 関係重み構造を柔軟に符号化可能な単位埋め込みに基づくガウス過程に基づくネットワーク重みの階層モデル
(II)これらの重み付けの入力依存バージョンは、文脈入力で定義されたカーネルを用いて関数空間を規則化する便利な方法を提供する。
これらのモデルは,分布外データに対して望ましいテスト時間不確実性推定を提供し,トレーニングデータからの補間と補間の両方に役立つカーネルによるニューラルネットワークの帰納バイアスをモデル化し,アクティブな学習ベンチマークで競合予測性能を示す。
関連論文リスト
- Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳(メタデータ) (2023-04-08T07:55:36Z) - Neural net modeling of equilibria in NSTX-U [0.0]
我々は平衡モデルと形状制御モデルに関連する2つのニューラルネットワークを開発する。
ネットワークにはEFIT01再構成アルゴリズムでトレーニングされた自由境界均衡解法であるEqnetと、Gspert符号でトレーニングされたPertnetが含まれる。
本報告では,これらのモデルが閉ループシミュレーションで確実に使用できることを示す。
論文 参考訳(メタデータ) (2022-02-28T16:09:58Z) - Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。
本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文 参考訳(メタデータ) (2021-12-23T17:04:12Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳(メタデータ) (2020-12-05T22:58:37Z) - Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions [0.0]
統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。
データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
論文 参考訳(メタデータ) (2020-08-13T11:28:57Z) - The Gaussian equivalence of generative models for learning with shallow
neural networks [30.47878306277163]
本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。
この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。
これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
論文 参考訳(メタデータ) (2020-06-25T21:20:09Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。