論文の概要: Log-Normal Multiplicative Dynamics for Stable Low-Precision Training of Large Networks

• arxiv url: http://arxiv.org/abs/2506.17768v1
• Date: Sat, 21 Jun 2025 17:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.574555
• Title: Log-Normal Multiplicative Dynamics for Stable Low-Precision Training of Large Networks
• Title（参考訳）: 大規模ネットワークの安定低精度トレーニングのための対数乗算ダイナミクス
• Authors: Keigo Nishida, Eren Mehmet Kıral, Kenichi Bannai, Mohammad Emtiyaz Khan, Thomas Möllenhoff,
• Abstract要約: 神経科学の研究により、生物学的シナプスは、ノイズのある乗法動力学により遷移を説明できる対数正規分布に従うことが示されている。 人工ニューラルネットワークのための新しいLog-Normal Multiplicative Dynamics (LMD)アルゴリズムを提案する。 以上の結果より,低精度前方操作下でのスクラッチの安定かつ高精度なトレーニングを実現することが示唆された。
• 参考スコア（独自算出の注目度）: 15.955800568981031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Studies in neuroscience have shown that biological synapses follow a log-normal distribution whose transitioning can be explained by noisy multiplicative dynamics. Biological networks can function stably even under dynamically fluctuating conditions arising due to unreliable synaptic transmissions. Here we ask: Is it possible to design similar multiplicative training in artificial neural networks? To answer this question, we derive a Bayesian learning rule that assumes log-normal posterior distributions over weights which gives rise to a new Log-Normal Multiplicative Dynamics (LMD) algorithm. The algorithm uses multiplicative updates with both noise and regularization applied multiplicatively. The method is as easy to implement as Adam and only requires one additional vector to store. Our results show that LMD achieves stable and accurate training-from-scratch under low-precision forward operations for Vision Transformer and GPT-2. These results suggest that multiplicative dynamics, a biological feature, may enable stable low-precision inference and learning on future energy-efficient hardware.
• Abstract（参考訳）: 神経科学の研究により、生物学的シナプスは、ノイズのある乗法動力学により遷移を説明できる対数正規分布に従うことが示されている。 生物学的ネットワークは、信頼性の低いシナプス伝達によって生じる動的変動条件下でも安定して機能する。 人工ニューラルネットワークで同様の乗法トレーニングを設計することは可能か? この問題に答えるために、重みよりも対数正規な後続分布を仮定するベイズ学習規則を導出し、新しい対数正規乗算ダイナミクス(LMD)アルゴリズムを導出する。 このアルゴリズムは乗法的更新とノイズと正規化の両方を乗法的に適用する。 このメソッドはAdamと同じくらい簡単に実装でき、格納するベクタを1つだけ必要とします。 以上の結果より,視覚変換器とGPT-2の低精度前方操作において,LCDは安定かつ高精度なトレーニング・アット・スクラッチを実現することがわかった。 これらの結果から, 生物学的特徴である乗算力学は, 将来のエネルギー効率の高いハードウェア上で, 安定した低精度推論と学習を可能にする可能性が示唆された。

関連論文リスト

• Stochastic Forward-Forward Learning through Representational Dimensionality Compression [7.847900313045352]
  フォワードフォワード(FF)アルゴリズムは、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)のボトムアップ代替を提供する。 本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元性(ED)を用いて, 次元圧縮と呼ばれる新しい良性関数を提案する。
  論文  参考訳（メタデータ） (2025-05-22T13:19:29Z)
• Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy [17.11946381948498]
  ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。 ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。 本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T14:38:36Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Simulating Liquids with Graph Networks [25.013244956897832]
  流体力学を学習するためのグラフニューラルネットワーク(GNN)について検討する。 以上の結果から,GNNなどの学習モデルでは,学習セットが他の問題固有の相関関係を欠きない限り,基礎となる力学を正確に学習できないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-14T15:39:27Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。