論文の概要: Dale meets Langevin: A Multiplicative Denoising Diffusion Model

• arxiv url: http://arxiv.org/abs/2510.02730v1
• Date: Fri, 03 Oct 2025 05:23:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.273352
• Title: Dale meets Langevin: A Multiplicative Denoising Diffusion Model
• Title（参考訳）: DaleがLangevinと出会う - 乗法的微分モデル
• Authors: Nishanth Shetty, Madhava Prasath, Chandra Sekhar Seelamantula,
• Abstract要約: 計算神経科学の最近の進歩は、標準勾配勾配勾配最適化の定式化における学習が生物学的システムの学習と一致していないことを示している。 そのようなアプローチの1つは、Daleの法則に着想を得たものであり、これは、シナプスは学習の過程で役割を交換しない、というものである。 非負のデータに対して,Hyvaerinenが提案する損失関数を仮定して,乗法的 denoising score-matching の新たな定式化を提案する。
• 参考スコア（独自算出の注目度）: 13.954816561132942
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gradient descent has proven to be a powerful and effective technique for optimization in numerous machine learning applications. Recent advances in computational neuroscience have shown that learning in standard gradient descent optimization formulation is not consistent with learning in biological systems. This has opened up interesting avenues for building biologically inspired learning techniques. One such approach is inspired by Dale's law, which states that inhibitory and excitatory synapses do not swap roles during the course of learning. The resulting exponential gradient descent optimization scheme leads to log-normally distributed synaptic weights. Interestingly, the density that satisfies the Fokker-Planck equation corresponding to the stochastic differential equation (SDE) with geometric Brownian motion (GBM) is the log-normal density. Leveraging this connection, we start with the SDE governing geometric Brownian motion, and show that discretizing the corresponding reverse-time SDE yields a multiplicative update rule, which surprisingly, coincides with the sampling equivalent of the exponential gradient descent update founded on Dale's law. Furthermore, we propose a new formalism for multiplicative denoising score-matching, subsuming the loss function proposed by Hyvaerinen for non-negative data. Indeed, log-normally distributed data is positive and the proposed score-matching formalism turns out to be a natural fit. This allows for training of score-based models for image data and results in a novel multiplicative update scheme for sample generation starting from a log-normal density. Experimental results on MNIST, Fashion MNIST, and Kuzushiji datasets demonstrate generative capability of the new scheme. To the best of our knowledge, this is the first instance of a biologically inspired generative model employing multiplicative updates, founded on geometric Brownian motion.
• Abstract（参考訳）: 勾配降下は、多くの機械学習アプリケーションにおいて、最適化のための強力で効果的な手法であることが証明されている。 計算神経科学の最近の進歩は、標準勾配勾配勾配最適化の定式化における学習が生物学的システムの学習と一致していないことを示している。 これにより、生物学的にインスパイアされた学習技術を構築するための興味深い道が開かれた。 そのようなアプローチの1つはデールの法則に着想を得ており、それは、抑制的および興奮的なシナプスは学習の過程で役割を交換しない、というものである。 指数勾配勾配最適化スキームは、対数正規分布のシナプス重みをもたらす。 興味深いことに、幾何学的ブラウン運動(GBM)を伴う確率微分方程式(SDE)に対応するフォッカー・プランク方程式を満たす密度は、対数正規密度である。 この接続を利用することで、SDEが幾何学的ブラウン運動を制御し、対応する逆時間SDEの離散化が乗法的更新規則をもたらすことを示す。 さらに,Hyvaerinen が非負のデータに対して提案した損失関数を仮定して,乗法的 denoising score-matching の新たな定式化を提案する。 実際、ログ正規分布データは正であり、提案されたスコアマッチング形式は自然な適合であることが判明した。 これにより、画像データのためのスコアベースモデルのトレーニングが可能になり、ログ正規密度から始まるサンプル生成のための新しい乗法的更新スキームが実現される。 MNIST, Fashion MNIST, Kuzushijiのデータセットによる実験結果から, 新たなスキームの生成能力が示された。 我々の知る限りでは、これは幾何学的ブラウン運動に基づいて構築された乗法的更新を用いた生物学的にインスパイアされた生成モデルの最初の例である。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations [5.279268784803583]
  本稿では,データからのスパース制御方程式の深部生成モデルを用いた動的モデリングフレームワークHyperSINDyを紹介する。 一度訓練すると、HyperSINDyは、係数が白色雑音によって駆動される微分方程式を介して力学を生成する。 実験では、HyperSINDyはデータと一致するように学習度をスケーリングすることで、基底的真理支配方程式を復元する。
  論文  参考訳（メタデータ） (2023-10-07T14:41:59Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of Partial Differential Equations [5.584060970507507]
  Parsimony Enhanced Sparse Bayesian Learning (PeSBL) 法は非線形力学系の部分微分方程式 (PDE) を解析するために開発された。 数値ケーススタディの結果,多くの標準力学系のPDEをPeSBL法を用いて正確に同定できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-08T00:56:11Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Combining data assimilation and machine learning to emulate a dynamical model from sparse and noisy observations: a case study with the Lorenz 96 model [0.0]
  この方法は、アンサンブルカルマンフィルタとニューラルネットワークを反復的にデータ同化ステップで適用することで構成される。 データ同化は、代理モデルとスパースデータとを最適に組み合わせるために用いられる。 出力分析は空間的に完全であり、サロゲートモデルを更新するためのニューラルネットワークによるトレーニングセットとして使用される。 カオス的な40変数Lorenz 96モデルを用いて数値実験を行い、提案手法の収束と統計的スキルの両立を証明した。
  論文  参考訳（メタデータ） (2020-01-06T12:26:52Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。