論文の概要: Stochastic Mirror Descent in Average Ensemble Models

• arxiv url: http://arxiv.org/abs/2210.15323v1
• Date: Thu, 27 Oct 2022 11:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:36:08.997832
• Title: Stochastic Mirror Descent in Average Ensemble Models
• Title（参考訳）: 平均アンサンブルモデルにおける確率鏡像
• Authors: Taylan Kargin, Fariborz Salehi, Babak Hassibi
• Abstract要約: ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。 本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
• 参考スコア（独自算出の注目度）: 38.38572705720122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The stochastic mirror descent (SMD) algorithm is a general class of training algorithms, which includes the celebrated stochastic gradient descent (SGD), as a special case. It utilizes a mirror potential to influence the implicit bias of the training algorithm. In this paper we explore the performance of the SMD iterates on mean-field ensemble models. Our results generalize earlier ones obtained for SGD on such models. The evolution of the distribution of parameters is mapped to a continuous time process in the space of probability distributions. Our main result gives a nonlinear partial differential equation to which the continuous time process converges in the asymptotic regime of large networks. The impact of the mirror potential appears through a multiplicative term that is equal to the inverse of its Hessian and which can be interpreted as defining a gradient flow over an appropriately defined Riemannian manifold. We provide numerical simulations which allow us to study and characterize the effect of the mirror potential on the performance of networks trained with SMD for some binary classification problems.
• Abstract（参考訳）: 確率的ミラー降下(SMD)アルゴリズムは、特別の場合として、確率的勾配降下(SGD)を含む訓練アルゴリズムの一般的なクラスである。 ミラーポテンシャルを利用してトレーニングアルゴリズムの暗黙のバイアスに影響を与える。 本稿では,平均場アンサンブルモデルにおけるSMDイテレーションの性能について検討する。 以上の結果から,SGDで得られた先行モデルを一般化した。 パラメータの分布の進化は確率分布の空間における連続時間過程にマッピングされる。 我々の主な結果は, 連続時間過程が大規模ネットワークの漸近的構造に収束する非線形偏微分方程式を与える。 ミラーポテンシャルの影響は、ヘッセンの逆元と等しく、適切に定義されたリーマン多様体上の勾配流れを定義するものとして解釈できる乗法項を通じて現れる。 本研究では,smdで学習したネットワークの性能に対するミラーポテンシャルの影響を,二元分類問題に対して検討し,特徴付ける数値シミュレーションを行う。

関連論文リスト

• Mirror Diffusion Models for Constrained and Watermarked Generation [41.27274841596343]
  ミラー拡散モデル(MDM)は、トラクタビリティを損なうことなく凸制約セット上のデータを生成する新しい拡散モデルである。 安全とプライバシーのために、我々は、生成したデータに目に見えないが定量的な情報を埋め込む新しいメカニズムとして制約セットを探求する。 私たちの研究は、複雑なドメイン上での抽出可能な拡散を学習する新しいアルゴリズムの機会をもたらします。
  論文  参考訳（メタデータ） (2023-10-02T14:26:31Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• Scalable Dynamic Mixture Model with Full Covariance for Probabilistic Traffic Forecasting [16.04029885574568]
  時間変化誤差過程に対するゼロ平均ガウス分布の動的混合を提案する。 提案手法は,学習すべきパラメータを数つ追加するだけで,既存のディープラーニングフレームワークにシームレスに統合することができる。 提案手法を交通速度予測タスク上で評価し,提案手法がモデル水平線を改良するだけでなく,解釈可能な時間相関構造も提供することを発見した。
  論文  参考訳（メタデータ） (2022-12-10T22:50:00Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent [7.00422423634143]
  離散VRSMD推定器列は線形回帰において最小ミラー補間子に収束することを示す。 我々は、真のモデルがスパースである場合に設定したモデル推定精度を導出する。
  論文  参考訳（メタデータ） (2022-04-29T19:37:24Z)
• Generative Adversarial Network for Probabilistic Forecast of Random Dynamical System [19.742888499307178]
  本研究では,確率力学系のデータ駆動型シミュレーションのための深層学習モデルを提案する。 本稿では,逐次推論問題に対する一貫性条件に基づく生成逆数ネットワークの正規化戦略を提案する。 複雑な雑音構造を持つ3つのプロセスを用いて,提案モデルの挙動について検討した。
  論文  参考訳（メタデータ） (2021-11-04T19:50:56Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。