論文の概要: Beyond Backpropagation: Monte Carlo Method Can Train Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2607.08406v1
- Date: Thu, 09 Jul 2026 12:31:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.527718
- Title: Beyond Backpropagation: Monte Carlo Method Can Train Deep Neural Networks
- Title（参考訳）: バックプロパゲーションを超えて:Monte Carloメソッドはディープニューラルネットワークをトレーニングできる
- Abstract要約: 本稿では,1つのGPU上に実装された最も単純なモンテカルロアルゴリズムが,実際にディープネットワークを訓練できることを示す。
我々は,20層以上の深層ネットワーク,最大16,384個の隠蔽ニューロンを持つ単一階層の広層ネットワーク,さらには画像分類と文字レベル言語モデリングの両方で訓練されたシンプルなトランスフォーマーアーキテクチャの実現可能性を示した。
- 参考スコア（独自算出の注目度）: 4.658277429152817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backpropagation (BP) dominates deep learning training, but its reliance on gradients brings inherent troubles -- vanishing and exploding gradients. The pursuit of gradient-free methods has long been a goal in the field of artificial intelligence. This paper shows that indeed the simplest Monte Carlo algorithm implemented on a single GPU -- randomly mutate a parameter, keep it if the loss decreases, otherwise retry -- can practically train deep networks. This gradient-free method does not even need common techniques such as batch normalization or residual connections to directly train sufficiently deep networks. More remarkably, its flexibility extends to several nontrivial scenarios: it enables pure pruning training, supports discrete weights, accommodates unconventional transfer functions such as Gaussian, and reveals the substantial redundancy of deep networks. We have demonstrated its feasibility on deep networks with more than 20 layers, single-hidden-layer wide networks with up to 16,384 hidden neurons, and even a simple Transformer architecture trained on both image classification (MNIST) and character-level language modeling (Tiny Shakespeare). This simple gradient-free method may offer a complementary perspective for understanding the self-organization and learning mechanisms of neural networks, and also provides an alternative route for building physically inspired deep learning systems.
- Abstract（参考訳）: バックプロパゲーション(BP)はディープラーニングのトレーニングを支配しているが、勾配への依存は本質的に問題を引き起こす。
勾配のない手法の追求は、人工知能の分野における長年の目標であった。
本稿では,1つのGPU上に実装された最も単純なモンテカルロアルゴリズム,すなわちパラメータをランダムに変更し,損失が減少し,それ以外の再試行を行うと,実際にディープネットワークを訓練できることを示す。
この勾配のない手法は、十分に深いネットワークを直接訓練するためにバッチ正規化や残差接続のような一般的なテクニックさえ必要としない。
さらに顕著なことに、その柔軟性はいくつかの非自明なシナリオにまで拡張され、純粋なプルーニングトレーニングを可能にし、離散ウェイトをサポートし、ガウスのような非伝統的な転送機能に対応し、ディープネットワークの実質的な冗長性を明らかにしている。
我々は,20層以上の深層ネットワーク,最大16,384個の隠蔽ニューロンを持つ単一階層の広層ネットワーク,さらには画像分類(MNIST)と文字レベル言語モデリング(Tiny Shakespeare)の両方で訓練されたシンプルなトランスフォーマーアーキテクチャの実現可能性を示した。
この単純な勾配のない手法は、ニューラルネットワークの自己組織化と学習メカニズムを理解するための補完的な視点を提供し、また、物理的にインスパイアされたディープラーニングシステムを構築するための代替ルートを提供する。
関連論文リスト
- Simplifying Neural Networks During Training [1.7966001353008778]
トレーニング中のディープネットワークを簡素化するためのNCにインスパイアされたトレーニングフレームワークを提案する。
Inverse Fisher Criterion による表現力学のモニタリングを行う。
次に、後続のプロキシ層を軽量な分類ヘッドに置き換え、縮小モデルのトレーニングを継続します。
論文 参考訳（メタデータ） (2026-07-30T08:32:40Z) - Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳（メタデータ） (2023-11-21T11:12:03Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳（メタデータ） (2023-06-02T15:19:08Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - Layer Folding: Neural Network Depth Reduction using Activation
Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。
線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。
我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文 参考訳（メタデータ） (2021-06-17T08:22:46Z) - Deep Networks from the Principle of Rate Reduction [32.87280757001462]
この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。
学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。
この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
論文 参考訳（メタデータ） (2020-10-27T06:01:43Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文 参考訳（メタデータ） (2019-10-08T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。