論文の概要: SVRG and Beyond via Posterior Correction

• arxiv url: http://arxiv.org/abs/2512.01930v1
• Date: Mon, 01 Dec 2025 17:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.999063
• Title: SVRG and Beyond via Posterior Correction
• Title（参考訳）: 後部矯正によるSVRGとBeyond
• Authors: Nico Daheim, Thomas Möllenhoff, Ming Liang Ang, Mohammad Emtiyaz Khan,
• Abstract要約: 我々は最近提案されたベイズ法とSVRGの驚くべき新しい関連性を示す。 これは、SVRGをベイズに接続し、ディープネットワークの変分訓練を強化するための最初の試みである。
• 参考スコア（独自算出の注目度）: 20.223849160261768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic Variance Reduced Gradient (SVRG) and its variants aim to speed-up training by using gradient corrections, but have seen limited success in deep learning. Here, we show surprising new foundational connections of SVRG to a recently proposed Bayesian method called posterior correction. Specifically, we show that SVRG is recovered as a special case of posterior correction over the isotropic-Gaussian family, while novel extensions are automatically obtained by using more flexible exponential families. We derive two new SVRG variants by using Gaussian families: First, a Newton-like variant that employs novel Hessian corrections, and second, an Adam-like extension that improves pretraining and finetuning of Transformer language models. This is the first work to connect SVRG to Bayes and use it to boost variational training for deep networks.
• Abstract（参考訳）: Stochastic Variance Reduced Gradient (SVRG) とその変種は、勾配補正を用いてトレーニングを高速化することを目的としているが、ディープラーニングではあまり成功していない。 そこで本研究では,最近提案されたベイズ法とSVRGの新たな基礎的関連性を示す。 具体的には,SVRGは等方性ガウス族に対する後方修正の特別な場合として回収され,新しい拡張はよりフレキシブルな指数関数族を用いて自動的に得られることを示す。 まず、新しいヘッセン補正を用いたニュートン様の変種と、トランスフォーマー言語モデルの事前学習と微調整を改善するアダム様の拡張である。 これは、SVRGをベイズに接続し、ディープネットワークの変分訓練を強化するための最初の試みである。

関連論文リスト

• RGE-GS: Reward-Guided Expansive Driving Scene Reconstruction via Diffusion Priors [54.81109375939306]
  RGE-GSは、拡散に基づく生成と報酬誘導ガウス積分を相乗化する新しい拡張的再構築フレームワークである。 本稿では,復元フェーズに先立って一貫したパターンを識別・優先順位付けする報奨ネットワークを提案する。 復元過程において,シーン収束度に応じてガウス最適化の進捗を自動的に調整する学習戦略を考案した。
  論文  参考訳（メタデータ） (2025-06-28T08:02:54Z)
• Federated ADMM from Bayesian Duality [39.71963030043193]
  フェデレートされたADMMを導出し、拡張する、根本的に新しい方法を提案する。 等方性ガウス後部を用いた場合,ADMMは自然に回復する。 我々の研究は、原始双対法を改善するための新しいベイズ的道を開く。
  論文  参考訳（メタデータ） (2025-06-16T07:02:33Z)
• A Coefficient Makes SVRG Effective [51.36251650664215]
  SVRG (Variance Reduced Gradient) は理論的に説得力のある最適化手法である。 本研究では,実世界のニューラルネットワークを最適化するSVRGの可能性を示す。
  論文  参考訳（メタデータ） (2023-11-09T18:47:44Z)
• Direct Mutation and Crossover in Genetic Algorithms Applied to Reinforcement Learning Tasks [0.9137554315375919]
  本稿では、遺伝的アルゴリズム(GA)を用いて神経進化を適用し、最適な行動エージェントを生成するニューラルネットワークの重みを見つけることに焦点を当てる。 本稿では,データ効率と収束速度を初期実装と比較して改善する2つの新しい修正法を提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:19:28Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。