論文の概要: Stochastic Backpropagation: A Memory Efficient Strategy for Training Video Models

• arxiv url: http://arxiv.org/abs/2203.16755v1
• Date: Thu, 31 Mar 2022 02:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 08:01:22.032653
• Title: Stochastic Backpropagation: A Memory Efficient Strategy for Training Video Models
• Title（参考訳）: 確率的バックプロパゲーション:ビデオモデルの学習に有効な記憶戦略
• Authors: Feng Cheng, Mingze Xu, Yuanjun Xiong, Hao Chen, Xinyu Li, Wei Li, Wei Xia
• Abstract要約: 本稿では,ビデオ上でディープニューラルネットワークをトレーニングするための,バックプロパゲーション(SBP)というメモリ効率のよい手法を提案する。 実験の結果、SBPはビデオタスクの幅広いモデルに適用可能であり、最大80.0%のGPUメモリを節約し、10%のトレーニングスピードアップを実現し、1%未満の精度でアクション認識と時間的アクション検出を行うことができた。
• 参考スコア（独自算出の注目度）: 42.31924917984774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a memory efficient method, named Stochastic Backpropagation (SBP), for training deep neural networks on videos. It is based on the finding that gradients from incomplete execution for backpropagation can still effectively train the models with minimal accuracy loss, which attributes to the high redundancy of video. SBP keeps all forward paths but randomly and independently removes the backward paths for each network layer in each training step. It reduces the GPU memory cost by eliminating the need to cache activation values corresponding to the dropped backward paths, whose amount can be controlled by an adjustable keep-ratio. Experiments show that SBP can be applied to a wide range of models for video tasks, leading to up to 80.0% GPU memory saving and 10% training speedup with less than 1% accuracy drop on action recognition and temporal action detection.
• Abstract（参考訳）: 本稿では,ビデオ上でディープニューラルネットワークを学習するための,Stochastic Backpropagation (SBP) というメモリ効率向上手法を提案する。 バックプロパゲーションのための不完全な実行からの勾配は、ビデオの冗長性の高さに起因する最小限の精度損失でモデルを効果的に訓練できるという発見に基づいている。 SBPは全てのフォワードパスを保持するが、ランダムかつ独立にトレーニングステップごとに各ネットワークレイヤの後方パスを削除する。 これにより、調整可能なkeep-ratioで制御可能な後方パスに対応するアクティベーション値をキャッシュする必要がなくなることで、gpuメモリコストが削減される。 実験によると、sbpはビデオタスクの幅広いモデルに適用できるため、最大80.0%のgpuメモリ節約と10%のトレーニングスピードアップを実現し、1%未満の精度でアクション認識と時間的アクション検出を削減できる。

関連論文リスト

• Block Selective Reprogramming for On-device Training of Vision Transformers [12.118303034660531]
  本稿では,事前学習したモデルのブロック全体のごく一部のみを微調整するブロック選択型再プログラミング(BSR)を提案する。 既存の代替手法と比較して、トレーニングメモリを最大1.4倍、計算コストを最大2倍に削減する。
  論文  参考訳（メタデータ） (2024-03-25T08:41:01Z)
• DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation [13.768426626459558]
  本稿では,DropBP(Drop Backward Propagation)を提案する。 DropBPは後方伝播中にランダムにレイヤをドロップするが、これは本質的に浅いサブモジュールのトレーニングに相当する。 ベースラインに匹敵する精度でトレーニング時間を44%削減し、同じパープレキシティへの収束を1.5倍加速し、1つのNVIDIA-A100 GPUでシーケンス長6.2倍のトレーニングを可能にする。
  論文  参考訳（メタデータ） (2024-02-27T14:51:11Z)
• Re^2TAL: Rewiring Pretrained Video Backbones for Reversible Temporal Action Localization [65.33914980022303]
  時間的行動ローカライゼーション(TAL)は、様々な期間と複雑な内容の行動を予測するために、長期的推論を必要とする。 ほとんどのメソッドは、ローカライズ問題に最適化することなく、事前抽出された機能のみをトレーニングできる。 本稿では,既存のビデオバックボーンを可逆性talにリワイヤリングする,新しいエンドツーエンド手法Re2TALを提案する。
  論文  参考訳（メタデータ） (2022-11-25T12:17:30Z)
• An In-depth Study of Stochastic Backpropagation [44.953669040828345]
  本稿では,標準画像分類および物体検出タスクのための深層ニューラルネットワークのトレーニングにおいて,バックプロパゲーション(SBP)について検討する。 後方伝播中、SBPはGPUメモリと計算コストを節約するために、機能マップのサブセットのみを使用することで勾配を計算する。 画像分類とオブジェクト検出の実験は、SBPが最大40%のGPUメモリを1%未満の精度で保存できることを示している。
  論文  参考訳（メタデータ） (2022-09-30T23:05:06Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。