論文の概要: Training DNNs in O(1) memory with MEM-DFA using Random Matrices
- arxiv url: http://arxiv.org/abs/2012.11745v1
- Date: Mon, 21 Dec 2020 23:27:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 07:13:00.158675
- Title: Training DNNs in O(1) memory with MEM-DFA using Random Matrices
- Title（参考訳）: ランダム行列を用いたMEM-DFAを用いたO(1)メモリにおけるDNNの訓練
- Authors: Tien Chu, Kamil Mykitiuk, Miron Szewczyk, Adam Wiktor, Zbigniew Wojna
- Abstract要約: 本稿では,ディープニューラルネットワークのトレーニングにおいて,メモリ消費を一定の複雑性に低減する手法を提案する。
このアルゴリズムは、バックプロパゲーション(bp:direct feedback alignment、dfa)とフィードバックアライメント(fa)のより生物学的に可能な代替案に基づいている。
実験は理論結果と一致し,MEM-DFAのメモリコストが他のアルゴリズムと比較して大幅に低下したことを示す。
- 参考スコア（独自算出の注目度）: 3.273287875114506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a method for reducing memory consumption to a constant
complexity when training deep neural networks. The algorithm is based on the
more biologically plausible alternatives of the backpropagation (BP): direct
feedback alignment (DFA) and feedback alignment (FA), which use random matrices
to propagate error. The proposed method, memory-efficient direct feedback
alignment (MEM-DFA), uses higher independence of layers in DFA and allows
avoiding storing at once all activation vectors, unlike standard BP, FA, and
DFA. Thus, our algorithm's memory usage is constant regardless of the number of
layers in a neural network. The method increases the computational cost only by
a constant factor of one extra forward pass.
The MEM-DFA, BP, FA, and DFA were evaluated along with their memory profiles
on MNIST and CIFAR-10 datasets on various neural network models. Our
experiments agree with our theoretical results and show a significant decrease
in the memory cost of MEM-DFA compared to the other algorithms.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワークのトレーニングにおいて,メモリ消費を一定の複雑性に低減する手法を提案する。
このアルゴリズムは、直接フィードバックアライメント(DFA)とフィードバックアライメント(FA)という、生物学的に妥当なバックプロパゲーション(BP)の代替法に基づいている。
提案手法は, メモリ効率の高い直接フィードバックアライメント(MEM-DFA)であり, DFAの層独立性を高め, 標準BP, FA, DFAとは異なり, 一度に全てのアクティベーションベクトルを格納することができない。
したがって、ニューラルネットワークの層数に関係なく、我々のアルゴリズムのメモリ使用量は一定である。
この方法は計算コストを1つの余分なフォワードパスの定数によってのみ増加させる。
MEM-DFA,BP,FA,DFAは、MNISTおよびCIFAR-10データセットのメモリプロファイルとともに、様々なニューラルネットワークモデル上で評価された。
実験は理論結果と一致し,MEM-DFAのメモリコストが他のアルゴリズムと比較して大幅に低下したことを示す。
関連論文リスト
- When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices [36.23767349592602]
Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)設計における協調学習を可能にする。
FLはメモリ使用量が多いため、低メモリのAIoTデバイスでは動作しない。
本稿では,フェデレートされたBPフリートレーニングフレームワークとシームレスに統合可能な,ニューラル・タンジェント・カーネル(NTK)に基づくフェデレーションフォレスト・プルーニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-08T02:24:09Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。
提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。
Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
論文 参考訳（メタデータ） (2023-10-06T09:56:26Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning [2.31120983784623]
放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。
本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
論文 参考訳（メタデータ） (2022-11-15T05:29:58Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T13:02:41Z) - Memory-Efficient Convex Optimization for Self-Dictionary Separable
Nonnegative Matrix Factorization: A Frank-Wolfe Approach [13.369975476087934]
本研究では,コンベックスSD-MMVのためのメモリ効率のアルゴリズムを提案する。
これは1950年代の古典的アルゴリズム、すなわちフランク・ウルフ(FW)アルゴリズムの特別な更新規則に乗じている。
妥当な条件下では、FWアルゴリズムは、データ量とともに線形に増大するメモリコストでノイズの多いSD-MMV問題を解く。
論文 参考訳（メタデータ） (2021-09-23T04:25:33Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳（メタデータ） (2021-02-21T03:13:27Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。