論文の概要: Dynamic Tensor Rematerialization
- arxiv url: http://arxiv.org/abs/2006.09616v4
- Date: Thu, 18 Mar 2021 06:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:18:55.374317
- Title: Dynamic Tensor Rematerialization
- Title(参考訳): 動的テンソル再材料化
- Authors: Marisa Kirisame, Steven Lyubomirsky, Altan Haan, Jennifer Brennan,
Mike He, Jared Roesch, Tianqi Chen, and Zachary Tatlock
- Abstract要約: チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。
現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。
我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
- 参考スコア(独自算出の注目度): 11.204761128308542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Checkpointing enables the training of deep learning models under restricted
memory budgets by freeing intermediate activations from memory and recomputing
them on demand. Current checkpointing techniques statically plan these
recomputations offline and assume static computation graphs. We demonstrate
that a simple online algorithm can achieve comparable performance by
introducing Dynamic Tensor Rematerialization (DTR), a greedy online algorithm
for checkpointing that is extensible and general, is parameterized by eviction
policy, and supports dynamic models. We prove that DTR can train an $N$-layer
linear feedforward network on an $\Omega(\sqrt{N})$ memory budget with only
$\mathcal{O}(N)$ tensor operations. DTR closely matches the performance of
optimal static checkpointing in simulated experiments. We incorporate a DTR
prototype into PyTorch merely by interposing on tensor allocations and operator
calls and collecting lightweight metadata on tensors.
- Abstract(参考訳): チェックポイントにより、メモリから中間活性化を解放し、必要に応じて再計算することで、制限されたメモリ予算の下でディープラーニングモデルのトレーニングが可能になる。
現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的な計算グラフを仮定する。
我々は,単純なオンラインアルゴリズムが,拡張可能で汎用的なチェックポイントのための欲望のあるオンラインアルゴリズムであるdynamic tensor rematerialization (dtr)を導入することで,同等の性能を達成できることを実証する。
我々はDTRが$\mathcal{O}(N)$tensor演算だけで$\Omega(\sqrt{N})$メモリ予算で$N$層線形フィードフォワードネットワークをトレーニングできることを証明した。
DTRはシミュレーション実験における最適静的チェックポイントの性能と密接に一致している。
DTRのプロトタイプをPyTorchに組み込むには、テンソルアロケーションと演算子コールを介し、テンソル上の軽量メタデータを収集するだけでよい。
関連論文リスト
- Tensor Decomposition Based Attention Module for Spiking Neural Networks [20.052426245286032]
我々は、線形に成長するパラメータで優れた結果を示すテキストプロジェクションフルアテンション(PFA)モジュールを設計する。
本手法は,静的ベンチマークと動的ベンチマークの両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-10-23T05:25:49Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - projUNN: efficient method for training deep networks with unitary
matrices [21.11571804661279]
トレーニング実行時のスケーリングを$O(kN2)$とすることで、フル$N$次元のユニタリあるいは行列をパラメータ化できる方法の2つの変種を導入する。
最も高速な設定であっても、ProjUNNはモデルのユニタリパラメータをトレーニングして、ベースライン実装に対して同等のパフォーマンスに達することができる。
論文 参考訳(メタデータ) (2022-03-10T17:04:41Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient
Descent [1.0953917735844645]
マルチウェイオンラインデータに基づく$(N)Nにおける非効率的な問題に対して,NeCPDという新しい効率的な分解アルゴリズムを提案する。
さらに,本手法を構造的データセットを用いた実生活モニタリングの分野に適用する。
論文 参考訳(メタデータ) (2020-03-18T04:44:05Z) - On Coresets for Support Vector Machines [61.928187390362176]
coresetは、元のデータポイントの小さな、代表的なサブセットである。
我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
論文 参考訳(メタデータ) (2020-02-15T23:25:12Z) - A Multi-Scale Tensor Network Architecture for Classification and
Regression [0.0]
テンソルネットワークを用いた教師あり学習のためのアルゴリズムを提案する。
我々はウェーブレット変換の連続を通して粗粒化によってデータを前処理するステップを採用する。
ネットワークを通しての細粒化がモデルの初期化にどのように利用されるかを示す。
論文 参考訳(メタデータ) (2020-01-22T21:26:28Z) - Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal
Method [6.381138694845438]
高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。
我々のモデルはテンソル係数の空間性と低ランク性を強制する。
我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
論文 参考訳(メタデータ) (2019-11-29T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。