論文の概要: $DA^3$: Deep Additive Attention Adaption for Memory-Efficient On-Device
Multi-Domain Learning
- arxiv url: http://arxiv.org/abs/2012.01362v2
- Date: Mon, 29 Mar 2021 20:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 05:23:36.807487
- Title: $DA^3$: Deep Additive Attention Adaption for Memory-Efficient On-Device
Multi-Domain Learning
- Title（参考訳）: $DA^3$:Dep Additive Attention Adaption for Memory-Efficient On-Device Multi-Domain Learning
- Authors: Li Yang, Adnan Siraj Rakin and Deliang Fan
- Abstract要約: アクティベーションストレージに使用される大きなメモリは、エッジデバイスのトレーニング時間とコストを大幅に制限するボトルネックである。
本稿では,メモリ効率の高いマルチドメイン学習手法であるDeep Additive Attention Adaptionを提案する。
我々は、複数のデータセットに対して、最先端の手法に対して$DA3$を検証し、精度とトレーニング時間の両方において良好な改善を示す。
- 参考スコア（独自算出の注目度）: 30.53018068935323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nowadays, one practical limitation of deep neural network (DNN) is its high
degree of specialization to a single task or domain (e.g., one visual domain).
It motivates researchers to develop algorithms that can adapt DNN model to
multiple domains sequentially, meanwhile still performing well on the past
domains, which is known as multi-domain learning. Almost all conventional
methods only focus on improving accuracy with minimal parameter update, while
ignoring high computing and memory cost during training, which makes it
impossible to deploy multi-domain learning into more and more widely used
resource-limited edge devices, like mobile phone, IoT, embedded system, etc.
During our study in multi-domain training, we observe that large memory used
for activation storage is the bottleneck that largely limits the training time
and cost on edge devices. To reduce training memory usage, while keeping the
domain adaption accuracy performance, in this work, we propose Deep Additive
Attention Adaption, a novel memory-efficient on-device multi-domain learning
method, aiming to achieve domain adaption on memory-limited edge devices. To
reduce the training memory consumption during on-device training, $DA^3$
freezes the weights of the pre-trained backbone model (i.e., no need to store
activation features during backward propagation). Furthermore, to improve the
adaption accuracy performance, we propose to improve the model capacity by
learning a novel additive attention adaptor module, which is also designed to
avoid activation memory buffering for improving memory efficiency. We validate
$DA^3$ on multiple datasets against state-of-the-art methods, which shows good
improvement in both accuracy and training time.
- Abstract（参考訳）: 現在、ディープニューラルネットワーク(DNN)の実用的な制限の一つは、単一のタスクまたはドメイン(例えば1つの視覚領域)への高度な特殊化である。
これは、研究者がdnnモデルを複数のドメインに順次適用できるアルゴリズムを開発する動機付けであり、また、マルチドメイン学習として知られる過去のドメインでもうまく機能する。
ほとんどすべての従来の手法は、最小限のパラメータ更新による精度の向上にのみフォーカスするが、トレーニング中に高いコンピューティングとメモリコストを無視しているため、携帯電話やIoT、組み込みシステムなど、より広く使用されているリソース制限エッジデバイスにマルチドメイン学習をデプロイすることは不可能である。
マルチドメイントレーニングにおいて、アクティベーションストレージに使用される大きなメモリが、エッジデバイスのトレーニング時間とコストを大幅に制限するボトルネックであることを観察した。
本研究では、領域適応精度を維持しつつ、トレーニングメモリ使用量を削減するため、メモリ制限エッジデバイスへのドメイン適応の実現を目的とした、新しいメモリ効率のオンデバイス学習手法であるDeep Additive Attention Adaptionを提案する。
デバイス上でのトレーニング中のメモリ消費を減らすため、$DA^3$はトレーニング済みのバックボーンモデルの重量を凍結する(つまり、後方伝播中にアクティベーション機能を格納する必要がない)。
さらに,メモリ効率を向上させるために,アクティベーションメモリバッファリングを回避するために設計された新しいアテンションアテンション・アダプタモジュールを学習することにより,適応精度の向上を図る。
複数のデータセット上で$da^3$を検証することにより,精度とトレーニング時間の両方において優れた改善が得られた。
関連論文リスト
- Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - CAMEL: Co-Designing AI Models and Embedded DRAMs for Efficient On-Device
Learning [8.339901980070616]
リソース制限されたデバイスでのAIのトレーニングは、コンピューティングワークロードの要求と、ディープニューラルネットワーク(DNN)が必要とするメモリ消費とデータアクセスの大幅な増加により、大きな課題となる。
過渡学習データのための一次記憶媒体として,組込み動的ランダムアクセスメモリ(eDRAM)を提案する。
我々は,eDRAMをプライマリオンチップメモリとして活用する,TextitCAMELという,高効率なオンデバイストレーニングエンジンを提案する。
論文 参考訳（メタデータ） (2023-05-04T20:57:01Z) - Efficient On-device Training via Gradient Filtering [14.484604762427717]
デバイス上でのCNNモデルトレーニングを可能にする新しい勾配フィルタリング手法を提案する。
我々のアプローチは勾配写像の特異な要素が少ない特別な構造を生成する。
弊社のアプローチは、デバイス上でのトレーニングの大きな可能性を秘めた、新しい研究の方向性を開く。
論文 参考訳（メタデータ） (2023-01-01T02:33:03Z) - Nesting Forward Automatic Differentiation for Memory-Efficient Deep
Neural Network Training [23.536294640280087]
本稿では,メモリ効率向上のための要素活性化関数として,ネストフォワード自動微分(フォワードAD)を提案する。
評価の結果,Nested Forward-ADはメモリフットプリントをベースラインモデルよりも1.97倍削減できることがわかった。
論文 参考訳（メタデータ） (2022-09-22T04:48:48Z) - POET: Training Neural Networks on Tiny Devices with Integrated
Rematerialization and Paging [35.397804171588476]
エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。
バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
論文 参考訳（メタデータ） (2022-07-15T18:36:29Z) - On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文 参考訳（メタデータ） (2022-06-30T17:59:08Z) - Forget Less, Count Better: A Domain-Incremental Self-Distillation
Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。
生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
論文 参考訳（メタデータ） (2022-05-06T15:37:56Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳（メタデータ） (2021-03-04T08:14:10Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。