論文の概要: Generative Optimization Networks for Memory Efficient Data Generation
- arxiv url: http://arxiv.org/abs/2110.02912v2
- Date: Thu, 7 Oct 2021 10:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 12:11:43.128329
- Title: Generative Optimization Networks for Memory Efficient Data Generation
- Title(参考訳): メモリ効率の良いデータ生成のための生成最適化ネットワーク
- Authors: Shreshth Tuli, Shikhar Tuli, Giuliano Casale and Nicholas R. Jennings
- Abstract要約: 本稿では,生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案する。
GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。
我々のフレームワークでは、検出F1スコアが最大で32%、メモリ消費が58%、トレーニングオーバーヘッドが最先端と比較してわずか5%高いことが示されています。
- 参考スコア(独自算出の注目度): 11.452816167207937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In standard generative deep learning models, such as autoencoders or GANs,
the size of the parameter set is proportional to the complexity of the
generated data distribution. A significant challenge is to deploy
resource-hungry deep learning models in devices with limited memory to prevent
system upgrade costs. To combat this, we propose a novel framework called
generative optimization networks (GON) that is similar to GANs, but does not
use a generator, significantly reducing its memory footprint. GONs use a single
discriminator network and run optimization in the input space to generate new
data samples, achieving an effective compromise between training time and
memory consumption. GONs are most suited for data generation problems in
limited memory settings. Here we illustrate their use for the problem of
anomaly detection in memory-constrained edge devices arising from attacks or
intrusion events. Specifically, we use a GON to calculate a
reconstruction-based anomaly score for input time-series windows. Experiments
on a Raspberry-Pi testbed with two existing and a new suite of datasets show
that our framework gives up to 32% higher detection F1 scores and 58% lower
memory consumption, with only 5% higher training overheads compared to the
state-of-the-art.
- Abstract(参考訳): オートエンコーダやgansのような標準的な生成型ディープラーニングモデルでは、パラメータセットのサイズは生成されたデータ分布の複雑さに比例する。
重要な課題は、リソース不足のディープラーニングモデルを限られたメモリを持つデバイスにデプロイすることで、システムのアップグレードコストを抑えることである。
これに対抗するために、生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案し、GANと似ているがジェネレータは使用せず、メモリフットプリントを大幅に削減する。
GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。
GONは、限られたメモリ設定におけるデータ生成問題に最も適している。
ここでは、攻撃や侵入によるメモリ制限エッジデバイスにおける異常検出の問題点について説明する。
具体的には、gonを用いて入力時系列ウィンドウの再構成に基づく異常スコアを算出する。
2つの既存のデータセットと1つの新しいデータセットからなるraspberry-piテストベッドの実験では、我々のフレームワークは検出f1スコアを最大32%高くし、58%のメモリ消費を削減し、最先端よりもトレーニングオーバーヘッドをわずか5%高めている。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - Containing Analog Data Deluge at Edge through Frequency-Domain
Compression in Collaborative Compute-in-Memory Networks [0.0]
本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。
アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。
論文 参考訳(メタデータ) (2023-09-20T03:52:04Z) - TinyAD: Memory-efficient anomaly detection for time series data in
Industrial IoT [43.207210990362825]
我々は,リアルタイムな異常検出のためのCNNのオンボード推論を効率的に行うための,Tiny Anomaly Detection (TinyAD) という新しいフレームワークを提案する。
CNNのピークメモリ消費を低減するため、我々は2つの相補的戦略、 in-place と patch-by-patch のメモリ再スケジューリングについて検討する。
我々のフレームワークは、オーバーヘッドを無視してピークメモリ消費を2~5倍削減できる。
論文 参考訳(メタデータ) (2023-03-07T02:56:15Z) - DRAGON: Decentralized Fault Tolerance in Edge Federations [13.864161788250856]
我々は、新しいメモリ効率のディープラーニングベースモデル、すなわち生成最適化ネットワーク(GON)を提案する。
GONは入力とサンプルを区別するために単一のネットワークを使用し、メモリフットプリントを大幅に削減する。
本稿では,エッジフェデレーションの性能を迅速に予測し,最適化するためにシミュレーションを実行するDRAGONと呼ばれる分散型フォールトトレランス手法を提案する。
論文 参考訳(メタデータ) (2022-08-16T10:40:28Z) - On-Device Training Under 256KB Memory [65.76525493087847]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
論文 参考訳(メタデータ) (2022-06-30T17:59:08Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳(メタデータ) (2022-02-14T10:26:23Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated
Edge Inference [1.7894377200944507]
機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。
本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。
その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
論文 参考訳(メタデータ) (2021-07-14T19:45:49Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-13T23:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。