論文の概要: Dynamic Tensor Rematerialization

• arxiv url: http://arxiv.org/abs/2006.09616v4
• Date: Thu, 18 Mar 2021 06:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 20:18:55.374317
• Title: Dynamic Tensor Rematerialization
• Title（参考訳）: 動的テンソル再材料化
• Authors: Marisa Kirisame, Steven Lyubomirsky, Altan Haan, Jennifer Brennan, Mike He, Jared Roesch, Tianqi Chen, and Zachary Tatlock
• Abstract要約: チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。 現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。 我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 11.204761128308542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Checkpointing enables the training of deep learning models under restricted memory budgets by freeing intermediate activations from memory and recomputing them on demand. Current checkpointing techniques statically plan these recomputations offline and assume static computation graphs. We demonstrate that a simple online algorithm can achieve comparable performance by introducing Dynamic Tensor Rematerialization (DTR), a greedy online algorithm for checkpointing that is extensible and general, is parameterized by eviction policy, and supports dynamic models. We prove that DTR can train an $N$-layer linear feedforward network on an $\Omega(\sqrt{N})$ memory budget with only $\mathcal{O}(N)$ tensor operations. DTR closely matches the performance of optimal static checkpointing in simulated experiments. We incorporate a DTR prototype into PyTorch merely by interposing on tensor allocations and operator calls and collecting lightweight metadata on tensors.
• Abstract（参考訳）: チェックポイントにより、メモリから中間活性化を解放し、必要に応じて再計算することで、制限されたメモリ予算の下でディープラーニングモデルのトレーニングが可能になる。 現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的な計算グラフを仮定する。 我々は,単純なオンラインアルゴリズムが,拡張可能で汎用的なチェックポイントのための欲望のあるオンラインアルゴリズムであるdynamic tensor rematerialization (dtr)を導入することで,同等の性能を達成できることを実証する。 我々はDTRが$\mathcal{O}(N)$tensor演算だけで$\Omega(\sqrt{N})$メモリ予算で$N$層線形フィードフォワードネットワークをトレーニングできることを証明した。 DTRはシミュレーション実験における最適静的チェックポイントの性能と密接に一致している。 DTRのプロトタイプをPyTorchに組み込むには、テンソルアロケーションと演算子コールを介し、テンソル上の軽量メタデータを収集するだけでよい。

関連論文リスト

• Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval [49.825549809652436]
  $k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。 適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T07:36:55Z)
• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• Mixture-of-Depths: Dynamically allocating compute in transformer-based language models [8.774705201394916]
  トランスフォーマーベースの言語モデルは、FLOPを入力シーケンスに均一に展開した。 変換器はシーケンス内の特定の位置にFLOPを動的に割り当てることが可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-02T19:28:11Z)
• Tensor Decomposition Based Attention Module for Spiking Neural Networks [18.924242014716647]
  我々は、線形に成長するパラメータで優れた結果を示すテキストプロジェクションフルアテンション(PFA)モジュールを設計する。 本手法は,静的ベンチマークと動的ベンチマークの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-10-23T05:25:49Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)
• A Multi-Scale Tensor Network Architecture for Classification and Regression [0.0]
  テンソルネットワークを用いた教師あり学習のためのアルゴリズムを提案する。 我々はウェーブレット変換の連続を通して粗粒化によってデータを前処理するステップを採用する。 ネットワークを通しての細粒化がモデルの初期化にどのように利用されるかを示す。
  論文  参考訳（メタデータ） (2020-01-22T21:26:28Z)
• Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal Method [6.381138694845438]
  高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。 我々のモデルはテンソル係数の空間性と低ランク性を強制する。 我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
  論文  参考訳（メタデータ） (2019-11-29T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。