論文の概要: Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks

• arxiv url: http://arxiv.org/abs/2412.16462v1
• Date: Sat, 21 Dec 2024 03:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:07.987710
• Title: Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks
• Title（参考訳）: ニューラルネットワークの不確かさ定量化のための凝縮ステイン変分勾配線
• Authors: Govinda Anantha Padmanabha, Cosmin Safta, Nikolaos Bouklas, Reese E. Jones,
• Abstract要約: 本稿では,ニューラルネットワークなどの複雑なパラメータ化モデルに対して,並列にスカラー化,トレーニング,不確実性の定量化を行うスタイン変分勾配降下法を提案する。 これは、複雑性を減らし、パラメータ化のスタインアンサンブルの類似性を高めるために、グラフの和解と凝縮のプロセスを利用する。
• 参考スコア（独自算出の注目度）: 0.8749675983608172
• License:
• Abstract: We propose a Stein variational gradient descent method to concurrently sparsify, train, and provide uncertainty quantification of a complexly parameterized model such as a neural network. It employs a graph reconciliation and condensation process to reduce complexity and increase similarity in the Stein ensemble of parameterizations. Therefore, the proposed condensed Stein variational gradient (cSVGD) method provides uncertainty quantification on parameters, not just outputs. Furthermore, the parameter reduction speeds up the convergence of the Stein gradient descent as it reduces the combinatorial complexity by aligning and differentiating the sensitivity to parameters. These properties are demonstrated with an illustrative example and an application to a representation problem in solid mechanics.
• Abstract（参考訳）: 本稿では,ニューラルネットワークなどの複雑なパラメータ化モデルに対して,並列にスカラー化,トレーニング,不確実性の定量化を行うスタイン変分勾配降下法を提案する。 これは、複雑性を減らし、パラメータ化のスタインアンサンブルの類似性を高めるために、グラフの和解と凝縮のプロセスを利用する。 そこで, 提案手法は, 出力だけでなくパラメータに対して不確実な定量化を行う。 さらに、パラメータ還元は、パラメータへの感度の調整と微分によって組合せ複雑性を減少させるため、スタイン勾配降下の収束を高速化する。 これらの性質は、実例で示され、固体力学における表現問題への応用が示されている。

関連論文リスト

• Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations [34.500484733973536]
  通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。 本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。 本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:36:36Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• NIPQ: Noise proxy-based Integrated Pseudo-Quantization [9.207644534257543]
  量子化対応トレーニング(QAT)におけるストレートスルー推定器(STE)の不安定収束 アクティベーションと重みの両面において擬似量子化を統一的にサポートする新しいノイズプロキシベース統合擬似量子化(NIPQ)を提案する。 NIPQは、様々なビジョンや言語アプリケーションにおける既存の量子化アルゴリズムよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-06-02T01:17:40Z)
• Learning via nonlinear conjugate gradients and depth-varying neural ODEs [5.565364597145568]
  ニューラル常微分方程式(NODE)における深度可変パラメータの教師付き再構成の逆問題について考察する。 提案したパラメータ再構成は,コスト関数の最小化による一般一階微分方程式に対して行われる。 感度問題は、トレーニングされたパラメータの摂動下でのネットワーク出力の変化を推定することができる。
  論文  参考訳（メタデータ） (2022-02-11T17:00:48Z)
• Neural Variational Gradient Descent [6.414093278187509]
  Stein Variational Gradient Descent (SVGD) のような粒子ベースの近似ベイズ推論アプローチは、サンプリング法の柔軟性と収束保証と、変分推論の計算上の利点を組み合わせたものである。 本稿では,パラメータを推論に並列に学習するディープニューラルネットワークを用いて,スタインの識別の目撃関数をパラメータ化し,カーネル選択の必要を緩和するニューラルニューラルニューラル・ニューラル変分差勾配(NVGD)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:10:50Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
  本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。 まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。 我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:35:17Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。