論文の概要: OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays

• arxiv url: http://arxiv.org/abs/2210.12924v1
• Date: Mon, 24 Oct 2022 02:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:21:58.262419
• Title: OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays
• Title（参考訳）: OLLA:アレーの寿命と位置を最適化することでニューラルネットワークのメモリ使用量を減らす
• Authors: Benoit Steiner, Mostafa Elhoushi, Jacob Kahn, James Hegarty
• Abstract要約: OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。 問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
• 参考スコア（独自算出の注目度）: 6.418232942455968
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The size of deep neural networks has grown exponentially in recent years. Unfortunately, hardware devices have not kept pace with the rapidly increasing memory requirements. To cope with this, researchers have turned to techniques such as spilling and recomputation, which increase training time, or reduced precision and model pruning, which can affect model accuracy. We present OLLA, an algorithm that optimizes the lifetime and memory location of the tensors used to train neural networks. Our method reduces the memory usage of existing neural networks, without needing any modification to the models or their training procedures. We formulate the problem as a joint integer linear program (ILP). We present several techniques to simplify the encoding of the problem, and enable our approach to scale to the size of state-of-the-art neural networks using an off-the-shelf ILP solver. We experimentally demonstrate that OLLA only takes minutes if not seconds to allow the training of neural networks using one-third less memory on average.
• Abstract（参考訳）: 近年、ディープニューラルネットワークのサイズは指数関数的に増加している。 残念ながら、ハードウェアデバイスは急速に増加するメモリ要件に対応していない。 これに対処するために、研究者はフラッシングや再計算などの技術に目を向け、トレーニング時間を短縮したり、精度を低下させたり、モデルの精度に影響を及ぼすモデルプルーニングを行ったりしている。 ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムであるOLLAを提案する。 提案手法は,既存のニューラルネットワークのメモリ使用量を,モデルやトレーニング手順を変更することなく削減する。 我々は、問題を合同整数線形プログラム(ilp)として定式化する。 我々は,問題の符号化を単純化し,既製のICPソルバを用いて最先端のニューラルネットワークのサイズにスケールできる手法をいくつか提示する。 実験により、ollaは平均3分の1のメモリでニューラルネットワークのトレーニングを行うのにほんの数分しかかからないことを示した。

関連論文リスト

• RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
  本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。 我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
  論文  参考訳（メタデータ） (2024-10-03T09:56:39Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations [3.4328283704703866]
  本稿では、強化学習タスクにニューラルネットワークを最適化するスパース計算に基づく手法を提案する。 これにより、ニューラルネットワークの実行時の乗算数が大幅に削減される。
  論文  参考訳（メタデータ） (2022-01-07T18:09:23Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Binary Neural Networks for Memory-Efficient and Effective Visual Place Recognition in Changing Environments [24.674034243725455]
  視覚的場所認識(VPR)は、視覚データを用いて、ある場所が訪れたかどうかを判断するロボットの能力である。 CNNベースのアプローチは、小さなロボットやドローンのようなリソース制約のあるプラットフォームには適さない。 本稿では,メモリ要求と計算労力を大幅に削減する,超コンパクトモデルの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-10-01T22:59:34Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。