論文の概要: Training DNNs in O(1) memory with MEM-DFA using Random Matrices

• arxiv url: http://arxiv.org/abs/2012.11745v1
• Date: Mon, 21 Dec 2020 23:27:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 07:13:00.158675
• Title: Training DNNs in O(1) memory with MEM-DFA using Random Matrices
• Title（参考訳）: ランダム行列を用いたMEM-DFAを用いたO(1)メモリにおけるDNNの訓練
• Authors: Tien Chu, Kamil Mykitiuk, Miron Szewczyk, Adam Wiktor, Zbigniew Wojna
• Abstract要約: 本稿では,ディープニューラルネットワークのトレーニングにおいて,メモリ消費を一定の複雑性に低減する手法を提案する。 このアルゴリズムは、バックプロパゲーション(bp:direct feedback alignment、dfa)とフィードバックアライメント(fa)のより生物学的に可能な代替案に基づいている。 実験は理論結果と一致し,MEM-DFAのメモリコストが他のアルゴリズムと比較して大幅に低下したことを示す。
• 参考スコア（独自算出の注目度）: 3.273287875114506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a method for reducing memory consumption to a constant complexity when training deep neural networks. The algorithm is based on the more biologically plausible alternatives of the backpropagation (BP): direct feedback alignment (DFA) and feedback alignment (FA), which use random matrices to propagate error. The proposed method, memory-efficient direct feedback alignment (MEM-DFA), uses higher independence of layers in DFA and allows avoiding storing at once all activation vectors, unlike standard BP, FA, and DFA. Thus, our algorithm's memory usage is constant regardless of the number of layers in a neural network. The method increases the computational cost only by a constant factor of one extra forward pass. The MEM-DFA, BP, FA, and DFA were evaluated along with their memory profiles on MNIST and CIFAR-10 datasets on various neural network models. Our experiments agree with our theoretical results and show a significant decrease in the memory cost of MEM-DFA compared to the other algorithms.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークのトレーニングにおいて,メモリ消費を一定の複雑性に低減する手法を提案する。 このアルゴリズムは、直接フィードバックアライメント(DFA)とフィードバックアライメント(FA)という、生物学的に妥当なバックプロパゲーション(BP)の代替法に基づいている。 提案手法は, メモリ効率の高い直接フィードバックアライメント(MEM-DFA)であり, DFAの層独立性を高め, 標準BP, FA, DFAとは異なり, 一度に全てのアクティベーションベクトルを格納することができない。 したがって、ニューラルネットワークの層数に関係なく、我々のアルゴリズムのメモリ使用量は一定である。 この方法は計算コストを1つの余分なフォワードパスの定数によってのみ増加させる。 MEM-DFA,BP,FA,DFAは、MNISTおよびCIFAR-10データセットのメモリプロファイルとともに、様々なニューラルネットワークモデル上で評価された。 実験は理論結果と一致し,MEM-DFAのメモリコストが他のアルゴリズムと比較して大幅に低下したことを示す。

関連論文リスト

• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Sequential Episodic Control [0.6445605125467572]
  最先端の強化学習アルゴリズムは、パフォーマンスを達成するために必要なエピソードの数が多いため、サンプル非効率である。 哺乳類の海馬にインスパイアされたERLアルゴリズムは、通常、拡張メモリシステムを使用して過去の出来事から学習をブートストラップし、このサンプル非効率問題を克服する。 ここでは、エピソードサンプリングの順序から得られる取得メモリ内容のバイアスを含めることで、エピソード制御アルゴリズムのサンプリングとメモリ効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-12-29T18:42:15Z)
• Memory-Efficient Convex Optimization for Self-Dictionary Separable Nonnegative Matrix Factorization: A Frank-Wolfe Approach [13.369975476087934]
  本研究では,コンベックスSD-MMVのためのメモリ効率のアルゴリズムを提案する。 これは1950年代の古典的アルゴリズム、すなわちフランク・ウルフ(FW)アルゴリズムの特別な更新規則に乗じている。 妥当な条件下では、FWアルゴリズムは、データ量とともに線形に増大するメモリコストでノイズの多いSD-MMV問題を解く。
  論文  参考訳（メタデータ） (2021-09-23T04:25:33Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Message Passing Descent for Efficient Machine Learning [4.416484585765027]
  機械学習におけるbfデータフィッティング(DF)問題に対する反復最適化手法を提案する。 このアプローチは、df問題のbfグラフィカルモデル表現に依存している。 本稿では,モデルDF関数の多項式表現に依存する bf Message Passage Descent アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-16T12:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。