論文の概要: Stochastic Gradient Langevin Dynamics Based on Quantization with Increasing Resolution

• arxiv url: http://arxiv.org/abs/2305.18864v2
• Date: Wed, 4 Oct 2023 07:50:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 21:47:45.730855
• Title: Stochastic Gradient Langevin Dynamics Based on Quantization with Increasing Resolution
• Title（参考訳）: 分解能増加を伴う量子化に基づく確率勾配ランゲヴィンダイナミクス
• Authors: JInwuk Seok and Changsik Cho
• Abstract要約: 非目的関数に対する量子化最適化に基づく代替的な降下学習方程式を提案する。 本稿では,バニラニューラル畳み込みニューラル(CNN)モデルにおける提案手法の有効性と各種データセット間のアーキテクチャについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Stochastic learning dynamics based on Langevin or Levy stochastic differential equations (SDEs) in deep neural networks control the variance of noise by varying the size of the mini-batch or directly those of injecting noise. Since the noise variance affects the approximation performance, the design of the additive noise is significant in SDE-based learning and practical implementation. In this paper, we propose an alternative stochastic descent learning equation based on quantized optimization for non-convex objective functions, adopting a stochastic analysis perspective. The proposed method employs a quantized optimization approach that utilizes Langevin SDE dynamics, allowing for controllable noise with an identical distribution without the need for additive noise or adjusting the mini-batch size. Numerical experiments demonstrate the effectiveness of the proposed algorithm on vanilla convolution neural network(CNN) models and the ResNet-50 architecture across various data sets. Furthermore, we provide a simple PyTorch implementation of the proposed algorithm.
• Abstract（参考訳）: ディープニューラルネットワークにおけるLangevin あるいは Levy 確率微分方程式 (SDEs) に基づく確率的学習ダイナミクスは、ノイズの分散をミニバッチのサイズや直接ノイズを注入する方法によって制御する。 雑音分散は近似性能に影響を与えるため,SDEに基づく学習と実践において付加雑音の設計が重要である。 本稿では,非凸目的関数の量子化最適化に基づく確率的降下学習方程式を提案する。 提案手法では,Langevin SDEのダイナミックスを利用した量子最適化手法を用いて,加算雑音やミニバッチサイズを調整することなく,同一分布の制御可能なノイズを制御できる。 数値実験により,バニラ畳み込みニューラルネットワーク(CNN)モデルとResNet-50アーキテクチャに対する提案アルゴリズムの有効性が示された。 さらに,提案アルゴリズムの簡単なPyTorch実装を提案する。

関連論文リスト

• Variational Neural Stochastic Differential Equations with Change Points [4.692174333076032]
  ニューラル微分方程式(ニューラルSDE)を用いた時系列データにおける変化点のモデル化について検討する。 本稿では,時系列をニューラルSDEとしてモデル化するための変分オートエンコーダ(VAE)フレームワークに基づく,新しいモデル定式化とトレーニング手法を提案する。 本稿では,従来のパラメトリックSDEと分散シフトを伴う実データセットの両方を効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-11-01T14:46:17Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• The effective noise of Stochastic Gradient Descent [9.645196221785694]
  Gradient Descent (SGD) は、ディープラーニング技術のワークホースアルゴリズムである。 SGDのパラメータと最近導入された変種である永続型SGDをニューラルネットワークモデルで特徴づける。 よりノイズの多いアルゴリズムは、対応する制約満足度問題のより広い決定境界につながる。
  論文  参考訳（メタデータ） (2021-12-20T20:46:19Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis [0.0]
  特定の雑音条件下では、最適化アルゴリズムは、同質雑音を伴う連続時間SGDの平坦な最小選択とは異なる意味で、目的関数の「平坦な」ミニマを好むことを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:34:32Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Noise Optimization for Artificial Neural Networks [0.973490996330539]
  本稿では,ANNの各ニューロンに付加されるガウス雑音の標準偏差に対する経路勾配推定法を提案する。 数値実験により, 提案手法は, 一般的なANN構造のロバスト性において, 大幅な性能向上を実現することができる。
  論文  参考訳（メタデータ） (2021-02-06T08:30:20Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。