論文の概要: Moccasin: Efficient Tensor Rematerialization for Neural Networks

• arxiv url: http://arxiv.org/abs/2304.14463v2
• Date: Tue, 30 May 2023 18:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:29:29.342386
• Title: Moccasin: Efficient Tensor Rematerialization for Neural Networks
• Title（参考訳）: Moccasin: ニューラルネットワークのための効率的なテンソルリマテリアル化
• Authors: Burak Bartan, Haoming Li, Harris Teague, Christopher Lott, Bistra Dilkina
• Abstract要約: 我々はtextscMoccasin という新しい制約プログラミングの定式化を開発し,O(n)$ の整数変数しか持たない。 本稿では,特に大規模グラフにおいて,我々のアプローチが最近の研究よりも桁違いに高速であることを示す数値的研究について述べる。
• 参考スコア（独自算出の注目度）: 21.348126106786914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment and training of neural networks on edge computing devices pose many challenges. The low memory nature of edge devices is often one of the biggest limiting factors encountered in the deployment of large neural network models. Tensor rematerialization or recompute is a way to address high memory requirements for neural network training and inference. In this paper we consider the problem of execution time minimization of compute graphs subject to a memory budget. In particular, we develop a new constraint programming formulation called \textsc{Moccasin} with only $O(n)$ integer variables, where $n$ is the number of nodes in the compute graph. This is a significant improvement over the works in the recent literature that propose formulations with $O(n^2)$ Boolean variables. We present numerical studies that show that our approach is up to an order of magnitude faster than recent work especially for large-scale graphs.
• Abstract（参考訳）: エッジコンピューティングデバイスへのニューラルネットワークのデプロイとトレーニングは多くの課題を生んでいる。 エッジデバイスの低メモリ性は、大規模ニューラルネットワークモデルの展開において遭遇する最大の制限要因の1つである。 テンソルのリマテリアル化や再計算は、ニューラルネットワークのトレーニングと推論のための高メモリ要求に対処する方法である。 本稿では,メモリ予算を考慮した計算グラフの実行時間最小化の問題について考察する。 特に,計算グラフ内のノード数である$n$を整数変数として,$O(n)$のみを含む,新しい制約プログラミング式である‘textsc{Moccasin} を開発した。 これは、$O(n^2)$ Boolean変数の定式化を提案する最近の文献の作業よりも大幅に改善されている。 本稿では,近年の研究,特に大規模グラフに対するアプローチが最大で1桁高速であることを示す数値研究を行う。

関連論文リスト

• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Bypass Exponential Time Preprocessing: Fast Neural Network Training via Weight-Data Correlation Preprocessing [16.35997749365563]
  最先端のディープニューラルネットワークは、モデル精度を高めるために、毎年サイズが大きくなる。 最近の作業(Song, Yang and Zhang, NeurIPS 2021)では、このイテレーション毎の時間を$o(nmd)$に削減していますが、データかニューラルネットワークの重みを前処理するのに指数関数的な時間が必要です。 本稿では,各反復でどのニューロンが発火するかを迅速かつ動的に検出するために,木構造に重みデータ相関を簡易に格納する前処理手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T16:40:49Z)
• OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays [6.418232942455968]
  OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。 問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T02:39:13Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• Graph Neural Network Bandits [89.31889875864599]
  グラフ構造データ上で定義された報酬関数を用いた帯域最適化問題を考察する。 この設定の主な課題は、大きなドメインへのスケーリングと、多くのノードを持つグラフへのスケーリングである。 グラフニューラルネットワーク(GNN)を用いて報酬関数を推定できることを示す。
  論文  参考訳（メタデータ） (2022-07-13T18:12:36Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
  我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。 本研究は,これまでに確立された高速訓練法について理論的考察を行った。
  論文  参考訳（メタデータ） (2021-10-09T18:16:23Z)
• ReLU Neural Networks of Polynomial Size for Exact Maximum Flow Computation [5.35599092568615]
  本稿では,線形整流ユニットを用いたニューラルネットワークのパワーについて検討する。 我々は,2つの基本最適化問題を$mathcalO(m2n2)$のニューラルネットワークで解くことができることを示した。
  論文  参考訳（メタデータ） (2021-02-12T17:23:34Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。