論文の概要: The Bayesian Method of Tensor Networks
- arxiv url: http://arxiv.org/abs/2101.00245v1
- Date: Fri, 1 Jan 2021 14:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 11:16:02.667366
- Title: The Bayesian Method of Tensor Networks
- Title（参考訳）: テンソルネットワークのベイズ法
- Authors: Erdong Guo and David Draper
- Abstract要約: ネットワークのベイズ的枠組みを2つの観点から検討する。
本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
- 参考スコア（独自算出の注目度）: 1.7894377200944511
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian learning is a powerful learning framework which combines the
external information of the data (background information) with the internal
information (training data) in a logically consistent way in inference and
prediction. By Bayes rule, the external information (prior distribution) and
the internal information (training data likelihood) are combined coherently,
and the posterior distribution and the posterior predictive (marginal)
distribution obtained by Bayes rule summarize the total information needed in
the inference and prediction, respectively. In this paper, we study the
Bayesian framework of the Tensor Network from two perspective. First, we
introduce the prior distribution to the weights in the Tensor Network and
predict the labels of the new observations by the posterior predictive
(marginal) distribution. Since the intractability of the parameter integral in
the normalization constant computation, we approximate the posterior predictive
distribution by Laplace approximation and obtain the out-product approximation
of the hessian matrix of the posterior distribution of the Tensor Network
model. Second, to estimate the parameters of the stationary mode, we propose a
stable initialization trick to accelerate the inference process by which the
Tensor Network can converge to the stationary path more efficiently and stably
with gradient descent method. We verify our work on the MNIST, Phishing Website
and Breast Cancer data set. We study the Bayesian properties of the Bayesian
Tensor Network by visualizing the parameters of the model and the decision
boundaries in the two dimensional synthetic data set. For a application
purpose, our work can reduce the overfitting and improve the performance of
normal Tensor Network model.
- Abstract（参考訳）: ベイズ学習は、推論と予測において論理的に一貫した方法で、データ(背景情報)の外部情報と内部情報(トレーニングデータ)を結合する強力な学習フレームワークである。
ベイズ則により、外部情報(プライオリ分布)と内部情報(トレーニングデータ確率)とをコヒーレントに結合し、ベイズ規則により得られた後方分布と後方予測(マージ)分布とをそれぞれ推測および予測に必要な総情報を要約する。
本稿では,2つの視点からテンソルネットワークのベイズ枠組みについて考察する。
まず,テンソルネットワーク内の重みに対する事前分布を導入し,後進予測(マージナル分布)により新しい観測値のラベルを予測した。
正規化定数計算におけるパラメータ積分の難解性から,ラプラス近似による後方予測分布を近似し,テンソルネットワークモデルの後方分布のヘッセン行列の積近似を求める。
第2に、定常モードのパラメータを推定するために、テンソルネットワークが定常経路により効率的に収束し、勾配降下法で安定に収束できる推論過程を高速化する安定した初期化手法を提案する。
MNIST, Phishing Website, Breast Cancer データセットの検証を行った。
本研究では,2次元合成データセットのモデルパラメータと決定境界を可視化し,ベイズテンソルネットワークのベイズ的特性について検討する。
アプリケーションの目的は、通常のTensor Networkモデルの過剰適合を低減し、パフォーマンスを向上させることである。
関連論文リスト
- Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。
ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
論文 参考訳（メタデータ） (2024-03-15T20:47:39Z) - Learning to solve Bayesian inverse problems: An amortized variational inference approach using Gaussian and Flow guides [0.0]
本研究では,ベイズ逆写像,すなわちデータから後部への写像を学習することで,リアルタイムな推論を可能にする手法を開発する。
我々のアプローチは、ニューラルネットワークの前方通過のコストで、所定の観測のための後部分布を提供する。
論文 参考訳（メタデータ） (2023-05-31T16:25:07Z) - Joint Bayesian Inference of Graphical Structure and Parameters with a
Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。
サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。
パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文 参考訳（メタデータ） (2023-05-30T19:16:44Z) - Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。
我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
論文 参考訳（メタデータ） (2022-06-13T20:43:39Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳（メタデータ） (2021-10-03T07:29:57Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。