論文の概要: VIKING: Deep variational inference with stochastic projections

• arxiv url: http://arxiv.org/abs/2510.23684v1
• Date: Mon, 27 Oct 2025 15:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.345172
• Title: VIKING: Deep variational inference with stochastic projections
• Title（参考訳）: VIKING:確率射影による深部変分推論
• Authors: Samuel G. Fadel, Hrittik Roy, Nicholas Krämer, Yevgen Zainchkovskyy, Stas Syrota, Alejandro Valverde Mahou, Carl Henrik Ek, Søren Hauberg,
• Abstract要約: 変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
• 参考スコア（独自算出の注目度）: 48.946143517489496
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Variational mean field approximations tend to struggle with contemporary overparametrized deep neural networks. Where a Bayesian treatment is usually associated with high-quality predictions and uncertainties, the practical reality has been the opposite, with unstable training, poor predictive power, and subpar calibration. Building upon recent work on reparametrizations of neural networks, we propose a simple variational family that considers two independent linear subspaces of the parameter space. These represent functional changes inside and outside the support of training data. This allows us to build a fully-correlated approximate posterior reflecting the overparametrization that tunes easy-to-interpret hyperparameters. We develop scalable numerical routines that maximize the associated evidence lower bound (ELBO) and sample from the approximate posterior. Empirically, we observe state-of-the-art performance across tasks, models, and datasets compared to a wide array of baseline methods. Our results show that approximate Bayesian inference applied to deep neural networks is far from a lost cause when constructing inference mechanisms that reflect the geometry of reparametrizations.
• Abstract（参考訳）: 変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 ベイズ処理は通常、高品質な予測と不確実性と関連づけられるが、現実的な現実は、不安定な訓練、予測力の低下、およびサブパーキャリブレーションと反対である。 ニューラルネットワークの再パラメータ化に関する最近の研究に基づいて、パラメータ空間の2つの独立線型部分空間を考慮した単純な変分族を提案する。 これらはトレーニングデータのサポートの内外における機能的な変更を表している。 これにより、容易に解釈可能なハイパーパラメータをチューニングするオーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築できる。 我々は, 近似後部から, 関連するエビデンス・ローバウンド(ELBO)とサンプルを最大化するスケーラブルな数値ルーチンを開発する。 経験的に,タスク,モデル,データセット間の最先端のパフォーマンスを,幅広いベースライン手法と比較して観察する。 この結果から,再パラメータ化の幾何学を反映した推論機構を構築する場合,深部ニューラルネットワークに近似したベイズ推定が失われる原因には程遠いことが示唆された。

関連論文リスト

• Deep Fréchet Regression [4.915744683251151]
  パラメトリックな仮定を課さずに高次元予測器を扱えるフレキシブル回帰モデルを提案する。 提案手法は,非ユークリッド応答に対する既存手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-31T07:54:14Z)
• Neural variational Data Assimilation with Uncertainty Quantification using SPDE priors [28.804041716140194]
  ディープラーニングコミュニティの最近の進歩は、ニューラルネットワークと変分データ同化フレームワークを通じて、この問題に対処することができる。 本研究では、部分微分方程式(SPDE)とガウス過程(GP)の理論を用いて状態の空間的および時間的共分散を推定する。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。