論文の概要: Rockmate: an Efficient, Fast, Automatic and Generic Tool for Re-materialization in PyTorch

• arxiv url: http://arxiv.org/abs/2307.01236v1
• Date: Mon, 3 Jul 2023 11:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 19:24:36.834252
• Title: Rockmate: an Efficient, Fast, Automatic and Generic Tool for Re-materialization in PyTorch
• Title（参考訳）: Rockmate: PyTorchの効率的な、高速、自動、ジェネリックな再物質化ツール
• Authors: Xunyi Zhao, Th\'eotime Le Hellard, Lionel Eyraud, Julia Gusak, Olivier Beaumont
• Abstract要約: PyTorch DNNモデルのトレーニングにおいて,メモリ要求を制御するためにRockmateを提案する。 Rockmateは、モデルコードから始まり、アクティベーションのために予め定義されたメモリ量を使用して等価なモデルを生成する自動ツールである。 我々は、RockmateがRotorと同じくらい高速で、Checkmateと同じくらい効率的であることを示す多くのモデルの実験を通して、多くのケースにおいてアクティベーションのメモリ消費が大幅に減少することを示す。
• 参考スコア（独自算出の注目度）: 1.3816155029354618
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose Rockmate to control the memory requirements when training PyTorch DNN models. Rockmate is an automatic tool that starts from the model code and generates an equivalent model, using a predefined amount of memory for activations, at the cost of a few re-computations. Rockmate automatically detects the structure of computational and data dependencies and rewrites the initial model as a sequence of complex blocks. We show that such a structure is widespread and can be found in many models in the literature (Transformer based models, ResNet, RegNets,...). This structure allows us to solve the problem in a fast and efficient way, using an adaptation of Checkmate (too slow on the whole model but general) at the level of individual blocks and an adaptation of Rotor (fast but limited to sequential models) at the level of the sequence itself. We show through experiments on many models that Rockmate is as fast as Rotor and as efficient as Checkmate, and that it allows in many cases to obtain a significantly lower memory consumption for activations (by a factor of 2 to 5) for a rather negligible overhead (of the order of 10% to 20%). Rockmate is open source and available at https://github.com/topal-team/rockmate.
• Abstract（参考訳）: PyTorch DNNモデルのトレーニングにおいて,メモリ要求を制御するためにRockmateを提案する。 rockmateは、モデルコードから始まり、アクティベーションのために事前定義されたメモリ量を使用して、いくつかの再計算のコストで等価なモデルを生成する自動ツールである。 Rockmateは計算およびデータ依存の構造を自動的に検出し、初期モデルを複雑なブロックのシーケンスとして書き換える。 このような構造は広く、文献の多くのモデル(Transformerベースのモデル、ResNet、RegNets、...)で見ることができることを示す。 この構造により、個々のブロックのレベルでチェックメイト(モデル全体では遅すぎるが一般的には遅い)の適応と、シーケンス自体のレベルでのローター(高速だがシーケンシャルなモデルに限定される)の適応を用いて、高速で効率的な方法で問題を解決できます。 私たちは、RockmateがRotorと同じくらい高速で、Checkmateと同等の効率で、比較的無視できるオーバーヘッド(10%から20%のオーバヘッド)に対して、アクティベーションのメモリ消費(2～5倍)が著しく低いことを多くのモデルで示しています。 Rockmateはオープンソースでhttps://github.com/topal-team/rockmate.comから入手できる。

関連論文リスト

• Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
  状態空間モデル(SSM)をベースとした世界モデルを提案する。 長期依存関係を効果的にキャプチャしながら、メモリと計算の複雑さを$O(n)$達成します。 このモデルはアクセス可能で、市販のラップトップでトレーニングすることができる。
  論文  参考訳（メタデータ） (2024-10-11T15:10:40Z)
• RepCNN: Micro-sized, Mighty Models for Wakeword Detection [3.4888176891918654]
  常時オンの機械学習モデルは、非常に少ないメモリと計算フットプリントを必要とする。 より大規模なマルチブランチアーキテクチャへの計算によって、小さな畳み込みモデルをよりよく訓練できることが示される。 我々は、常時起動するウェイクワード検出モデルであるRepCNNが、推論中のレイテンシと精度のトレードオフを良好に提供することを示す。
  論文  参考訳（メタデータ） (2024-06-04T16:14:19Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Detach-ROCKET: Sequential feature selection for time series classification with random convolutional kernels [0.7499722271664144]
  ROCKETに基づくモデルにおいて, 逐次的特徴分離(Sequential Feature Detachment, SFD)を導入する。 SFDは、オリジナルの機能の10%しか使用せずに、より良いテスト精度でモデルを作成することができる。 また,特徴量とモデル精度の最適バランスを決定するためのエンドツーエンドの手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T20:24:36Z)
• Back to Basics: A Sanity Check on Modern Time Series Classification Algorithms [5.225544155289783]
  新たな分類器の急激な開発では、ステップバックして単純なベースラインチェックを実行することが不可欠である。 これらのチェックは、しばしば見過ごされる。研究者たちは、新しい最先端の結果を確立し、スケーラブルなアルゴリズムを開発し、モデルを説明可能にすることに注力している。
  論文  参考訳（メタデータ） (2023-08-15T17:23:18Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• RcTorch: a PyTorch Reservoir Computing Package with Automated Hyper-Parameter Optimization [1.2891210250935146]
  貯水池コンピュータ(Reservoir computer, RC)は、全てのニューラルネットワークにおいて最速の訓練である。 RCの採用は、モデルがハイパーパラメータに敏感であるために遅れている。 我々は、自動HPチューニングを備えたPyTorchベースのRCニューラルネットワークパッケージであるRcTorchを紹介する。
  論文  参考訳（メタデータ） (2022-07-12T22:24:36Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。