論文の概要: Pretraining with Random Noise for Fast and Robust Learning without Weight Transport
- arxiv url: http://arxiv.org/abs/2405.16731v1
- Date: Mon, 27 May 2024 00:12:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 19:35:41.698329
- Title: Pretraining with Random Noise for Fast and Robust Learning without Weight Transport
- Title（参考訳）: 重量移動を伴わない高速・ロバスト学習のためのランダムノイズによる事前学習
- Authors: Jeonghwan Cheon, Sang Wan Lee, Se-Bum Paik,
- Abstract要約: ランダムノイズを伴う事前学習ニューラルネットワークは、学習効率を向上し、重量輸送を伴わない一般化能力も向上することを示す。
ランダムノイズとデータの両方による連続的なトレーニングは、データのみによるトレーニングよりもシナプス的なフィードバックに近い重みをもたらす。
この事前正規化により、ネットワークは低ランクの単純な解を学習でき、その後の訓練における一般化損失を減らすことができる。
- 参考スコア（独自算出の注目度）: 6.916179672407521
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The brain prepares for learning even before interacting with the environment, by refining and optimizing its structures through spontaneous neural activity that resembles random noise. However, the mechanism of such a process has yet to be thoroughly understood, and it is unclear whether this process can benefit the algorithm of machine learning. Here, we study this issue using a neural network with a feedback alignment algorithm, demonstrating that pretraining neural networks with random noise increases the learning efficiency as well as generalization abilities without weight transport. First, we found that random noise training modifies forward weights to match backward synaptic feedback, which is necessary for teaching errors by feedback alignment. As a result, a network with pre-aligned weights learns notably faster than a network without random noise training, even reaching a convergence speed comparable to that of a backpropagation algorithm. Sequential training with both random noise and data brings weights closer to synaptic feedback than training solely with data, enabling more precise credit assignment and faster learning. We also found that each readout probability approaches the chance level and that the effective dimensionality of weights decreases in a network pretrained with random noise. This pre-regularization allows the network to learn simple solutions of a low rank, reducing the generalization loss during subsequent training. This also enables the network robustly to generalize a novel, out-of-distribution dataset. Lastly, we confirmed that random noise pretraining reduces the amount of meta-loss, enhancing the network ability to adapt to various tasks. Overall, our results suggest that random noise training with feedback alignment offers a straightforward yet effective method of pretraining that facilitates quick and reliable learning without weight transport.
- Abstract（参考訳）: 脳は環境と相互作用する前にも学習の準備をし、ランダムノイズに似た自発的な神経活動を通じてその構造を精製し、最適化する。
しかし、そのようなプロセスのメカニズムはまだ完全には理解されておらず、このプロセスが機械学習のアルゴリズムの恩恵を受けるかどうかは不明である。
本稿では、フィードバックアライメントアルゴリズムを用いたニューラルネットワークを用いて、ランダムノイズによる事前学習ニューラルネットワークが学習効率を高め、重量輸送を伴わない一般化能力を向上させることを実証する。
まず、ランダムノイズトレーニングは、フィードバックアライメントによってエラーを教えるために必要となる、後方シナプスフィードバックに適合するように前方重みを変更することを発見した。
その結果、予め整列された重みを持つネットワークは、ランダムなノイズトレーニングなしでネットワークよりも顕著に高速に学習し、バックプロパゲーションアルゴリズムに匹敵する収束速度に達する。
ランダムノイズとデータの両方によるシーケンシャルトレーニングは、データのみによるトレーニングよりもシナプスフィードバックに近い重みをもたらし、より正確なクレジット割り当てと学習の高速化を可能にします。
また、各読み出し確率が確率レベルに近づき、ランダムノイズで事前訓練されたネットワークにおいて、重みの有効次元が減少することを示した。
この事前正規化により、ネットワークは低ランクの単純な解を学習でき、その後の訓練における一般化損失を減らすことができる。
これによりネットワークは、新しい分散データセットを強力に一般化することが可能になる。
最後に、ランダムノイズ事前学習がメタロス量を減少させ、様々なタスクに適応するネットワーク能力を高めることを確認した。
以上の結果から,フィードバックアライメントによるランダムノイズトレーニングは,重み付けを伴わずに迅速かつ信頼性の高い学習を容易にする,簡単かつ効果的な事前学習法である可能性が示唆された。
関連論文リスト
- Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2023-09-29T06:18:15Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Bit-wise Training of Neural Network Weights [4.56877715768796]
ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。
この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。
完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
論文 参考訳（メタデータ） (2022-02-19T10:46:54Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳（メタデータ） (2020-07-07T06:51:28Z) - Training highly effective connectivities within neural networks with
randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。
重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文 参考訳（メタデータ） (2020-06-30T09:41:18Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳（メタデータ） (2020-02-19T16:00:47Z) - Side-Tuning: A Baseline for Network Adaptation via Additive Side
Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。
本稿では,サイドチューニングという簡単な方法を提案する。
論文 参考訳（メタデータ） (2019-12-31T18:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。