論文の概要: Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics

• arxiv url: http://arxiv.org/abs/2303.05101v1
• Date: Thu, 9 Mar 2023 08:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:46:49.565942
• Title: Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics
• Title（参考訳）: 非対角距離におけるスケーラブル確率勾配リーマンランゲインダイナミクス
• Authors: Hanlin Yu, Marcelo Hartmann, Bernardo Williams and Arto Klami
• Abstract要約: 本稿では,2つの非対角的メトリクスをサンプリング器で使用して収束と探索を改善することを提案する。 複雑な後部を持つニューラルネットワークの場合、例えば、空間性誘導前部の使用によって引き起こされる場合、これらの指標を用いることで明らかな改善が期待できる。
• 参考スコア（独自算出の注目度）: 4.396860522241306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural network inference is often carried out using stochastic gradient sampling methods. For best performance the methods should use a Riemannian metric that improves posterior exploration by accounting for the local curvature, but the existing methods resort to simple diagonal metrics to remain computationally efficient. This loses some of the gains. We propose two non-diagonal metrics that can be used in stochastic samplers to improve convergence and exploration but that have only a minor computational overhead over diagonal metrics. We show that for neural networks with complex posteriors, caused e.g. by use of sparsity-inducing priors, using these metrics provides clear improvements. For some other choices the posterior is sufficiently easy also for the simpler metrics.
• Abstract（参考訳）: ベイズニューラルネットワークの推論は確率勾配サンプリング法を用いて行われることが多い。 最良の性能のためには、局所曲率を計算して後方探索を改善するリーマン計量を用いるべきであるが、既存の方法は計算効率を維持するために単純な対角距離を用いる。 これは多少の利益を失う。 本稿では,2つの非対角的メトリクスを確率的サンプリング器で使用して収束と探索を改善する方法を提案するが,対角的メトリクスに対する計算オーバーヘッドはわずかである。 複雑な後部を持つニューラルネットワークの場合、例えば、空間性誘導前部の使用によって引き起こされる場合、これらの指標を用いることで明らかな改善が期待できる。 他の選択肢では、後部は単純なメトリクスに対しても十分簡単である。

関連論文リスト

• Riemannian Laplace approximations for Bayesian neural networks [3.6990978741464904]
  本稿では, 後円部形状に適応する簡易なパラメトリック近似後円板を提案する。 提案手法は従来のタスク間のラプラス近似よりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T14:44:22Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• A Bootstrap Algorithm for Fast Supervised Learning [0.0]
  ニューラルネットワーク(NN)のトレーニングは通常、勾配降下(および勾配降下(SGD))、ADADELTA、ADAM、制限メモリアルゴリズムなど、ある種の曲線追従手法に依存する。 これらのアルゴリズムの収束は通常、高いレベルの精度を達成するために大量の観測にアクセスできることに依存しており、特定の種類の関数で、これらのアルゴリズムはキャッチするデータポイントの複数のエポックを取ることができる。 ここでは、収束速度が劇的に向上する可能性を秘めている別の手法を探求する: カーブフォローではなく、隠れた層を「疎結合」することなどに依存する。
  論文  参考訳（メタデータ） (2023-05-04T18:28:18Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Facilitate the Parametric Dimension Reduction by Gradient Clipping [1.9671123873378715]
  我々は、ニューラルネットワークのトレーニングにより、非パラメトリックからパラメトリックへ、よく知られた次元削減手法であるt分散隣接埋め込み(t-SNE)を拡張した。 本手法は, 一般化を楽しみながら, 非パラメトリックt-SNEと互換性のある埋め込み品質を実現する。
  論文  参考訳（メタデータ） (2020-09-30T01:21:22Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Tractable Approximate Gaussian Inference for Bayesian Neural Networks [1.933681537640272]
  本稿では,ベイズニューラルネットワークにおける抽出可能な近似ガウス推定(TAGI)を実現するための解析手法を提案する。 この手法はパラメータ数$n$に対して$mathcalO(n)$の計算複雑性を持ち、回帰および分類ベンチマークで実施されたテストは、同じネットワークアーキテクチャにおいて、勾配のバックプロパゲーションに依存する既存のメソッドのパフォーマンスと一致することを確認している。
  論文  参考訳（メタデータ） (2020-04-20T13:37:08Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。