論文の概要: On Stein Variational Neural Network Ensembles

• arxiv url: http://arxiv.org/abs/2106.10760v2
• Date: Tue, 22 Jun 2021 07:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 11:18:33.569296
• Title: On Stein Variational Neural Network Ensembles
• Title（参考訳）: スタイン変分ニューラルネットワークアンサンブルについて
• Authors: Francesco D'Angelo, Vincent Fortuin, Florian Wenzel
• Abstract要約: 本研究では, 重み空間, 関数空間, ハイブリッド環境で動作する異なるスタイン変分勾配勾配(SVGD)法について検討する。 機能的およびハイブリッドカーネルを用いたSVGDは,深いアンサンブルの限界を克服できることがわかった。
• 参考スコア（独自算出の注目度）: 8.178886940116035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of deep neural networks have achieved great success recently, but they do not offer a proper Bayesian justification. Moreover, while they allow for averaging of predictions over several hypotheses, they do not provide any guarantees for their diversity, leading to redundant solutions in function space. In contrast, particle-based inference methods, such as Stein variational gradient descent (SVGD), offer a Bayesian framework, but rely on the choice of a kernel to measure the similarity between ensemble members. In this work, we study different SVGD methods operating in the weight space, function space, and in a hybrid setting. We compare the SVGD approaches to other ensembling-based methods in terms of their theoretical properties and assess their empirical performance on synthetic and real-world tasks. We find that SVGD using functional and hybrid kernels can overcome the limitations of deep ensembles. It improves on functional diversity and uncertainty estimation and approaches the true Bayesian posterior more closely. Moreover, we show that using stochastic SVGD updates, as opposed to the standard deterministic ones, can further improve the performance.
• Abstract（参考訳）: ディープニューラルネットワークのアンサンブルは近年大きな成功を収めているが、適切なベイズ的正当化は提供していない。 さらに、いくつかの仮説に対する予測の平均化を可能にするが、それらの多様性の保証は提供せず、関数空間における冗長な解をもたらす。 対照的に、スタイン変分勾配降下(SVGD)のような粒子ベースの推論法はベイズフレームワークを提供するが、アンサンブルメンバー間の類似度を測定するためにカーネルの選択に依存する。 本研究では,重み空間,関数空間,ハイブリッド環境で動作する様々なSVGD法について検討する。 SVGD法と他のアンサンブル法を理論的特性の観点から比較し, 実世界の課題における経験的性能を評価する。 機能的およびハイブリッドカーネルを用いたSVGDは,深いアンサンブルの限界を克服できることがわかった。 関数の多様性と不確実性の推定を改善し、真のベイズ後方に接近する。 さらに,svgdの確率的更新は,標準決定論的更新とは対照的に,さらなる性能向上が期待できることを示す。

関連論文リスト

• Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding [5.584060970507506]
  スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。 本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T06:24:57Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Neural Variational Gradient Descent [6.414093278187509]
  Stein Variational Gradient Descent (SVGD) のような粒子ベースの近似ベイズ推論アプローチは、サンプリング法の柔軟性と収束保証と、変分推論の計算上の利点を組み合わせたものである。 本稿では,パラメータを推論に並列に学習するディープニューラルネットワークを用いて,スタインの識別の目撃関数をパラメータ化し,カーネル選択の必要を緩和するニューラルニューラルニューラル・ニューラル変分差勾配(NVGD)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:10:50Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• Sliced Kernelized Stein Discrepancy [17.159499204595527]
  Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。 最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
  論文  参考訳（メタデータ） (2020-06-30T04:58:55Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。