論文の概要: Graph Reparameterizations for Enabling 1000+ Monte Carlo Iterations in Bayesian Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2202.09478v1
• Date: Sat, 19 Feb 2022 00:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 07:55:09.772554
• Title: Graph Reparameterizations for Enabling 1000+ Monte Carlo Iterations in Bayesian Deep Neural Networks
• Title（参考訳）: ベイジアンディープニューラルネットワークにおける1000以上のモンテカルロイテレーションのグラフ再パラメータ化
• Authors: Jurijs Nazarovs, Ronak R. Mehta, Vishnu Suresh Lokhande, Vikas Singh
• Abstract要約: ディープモデルにおける不確実性推定は、多くの現実世界の応用において不可欠である。 モンテカルロサンプリングでは、KLの発散などの量を推定するのに費用がかかり、入力データとモデルの両方の次元が大きくなるにつれて、スケールが悪くなる可能性がある。 ここでは,計算グラフを記述するためのフレームワークを構築し,グラフサイズが独立であるか,必要となるMCサンプル数にのみ依存する確率列を同定する。
• 参考スコア（独自算出の注目度）: 27.161744151286033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty estimation in deep models is essential in many real-world applications and has benefited from developments over the last several years. Recent evidence suggests that existing solutions dependent on simple Gaussian formulations may not be sufficient. However, moving to other distributions necessitates Monte Carlo (MC) sampling to estimate quantities such as the KL divergence: it could be expensive and scales poorly as the dimensions of both the input data and the model grow. This is directly related to the structure of the computation graph, which can grow linearly as a function of the number of MC samples needed. Here, we construct a framework to describe these computation graphs, and identify probability families where the graph size can be independent or only weakly dependent on the number of MC samples. These families correspond directly to large classes of distributions. Empirically, we can run a much larger number of iterations for MC approximations for larger architectures used in computer vision with gains in performance measured in confident accuracy, stability of training, memory and training time.
• Abstract（参考訳）: 深層モデルにおける不確実性の推定は、多くの実世界のアプリケーションで必須であり、ここ数年の開発から恩恵を受けてきた。 最近の証拠は、単純なガウスの定式化に依存する既存の解が十分でないことを示唆している。 しかし、他の分布への移動はモンテカルロサンプリング(MC)のサンプリングを必要とし、KLの発散など量を推定する:入力データとモデルの両方の次元が大きくなるにつれて、高価でスケールが悪くなる可能性がある。 これは計算グラフの構造に直接関係しており、必要となるMCサンプル数の関数として線形に成長することができる。 本稿では,これらの計算グラフを記述するためのフレームワークを構築し,そのグラフサイズが独立であるか,あるいはmcサンプル数に弱いだけ依存できる確率族を同定する。 これらの族は分布の大きなクラスと直接対応している。 経験上、私たちはコンピュータビジョンで使われるより大きなアーキテクチャのmc近似の多くのイテレーションを実行でき、自信のある精度、トレーニングの安定性、メモリおよびトレーニング時間でパフォーマンスが測定される。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Latent Graph Inference using Product Manifolds [0.0]
  遅延グラフ学習のための離散微分可能グラフモジュール(dDGM)を一般化する。 我々の新しいアプローチは、幅広いデータセットでテストされ、元のdDGMモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-11-26T22:13:06Z)
• Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
  ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。 近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
  論文  参考訳（メタデータ） (2022-02-28T15:53:10Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Crime Prediction with Graph Neural Networks and Multivariate Normal Distributions [18.640610803366876]
  グラフ畳み込みネットワーク(GCN)のフレキシブルな構造を利用して,高分解能領域における疎結合問題に取り組む。 グラフ畳み込みGated Recurrent Units (Graph-ConvGRU) を用いてモデルを構築し,空間的・時間的・カテゴリー的関係を学習する。 モデルが生成性だけでなく,正確性も示しています。
  論文  参考訳（メタデータ） (2021-11-29T17:37:01Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Regularization of Mixture Models for Robust Principal Graph Learning [0.0]
  D$次元データポイントの分布から主グラフを学習するために,Mixture Modelsの正規化バージョンを提案する。 モデルのパラメータは期待最大化手順によって反復的に推定される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:02Z)
• Bayesian graph convolutional neural networks via tempered MCMC [0.41998444721319217]
  畳み込みニューラルネットワークのようなディープラーニングモデルは、画像やマルチメディアタスクに長い間適用されてきた。 最近では、グラフで表現できる非構造化データにもっと注意が払われている。 これらのタイプのデータは、健康と医学、ソーシャルネットワーク、および研究データリポジトリでよく見られます。
  論文  参考訳（メタデータ） (2021-04-17T04:03:25Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)
• Graph Prolongation Convolutional Networks: Explicitly Multiscale Machine Learning on Graphs with Applications to Modeling of Cytoskeleton [0.0]
  我々は新しいタイプのアンサンブルグラフ畳み込みネットワーク(GCN)モデルを定義する。 グラフの空間スケール間のマッピングに最適化された線形射影演算子を用いて、このアンサンブルモデルは、最終的な予測のために各スケールからの情報を集約することを学ぶ。
  論文  参考訳（メタデータ） (2020-02-14T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。