論文の概要: Generative Optimization Networks for Memory Efficient Data Generation

• arxiv url: http://arxiv.org/abs/2110.02912v2
• Date: Thu, 7 Oct 2021 10:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 12:11:43.128329
• Title: Generative Optimization Networks for Memory Efficient Data Generation
• Title（参考訳）: メモリ効率の良いデータ生成のための生成最適化ネットワーク
• Authors: Shreshth Tuli, Shikhar Tuli, Giuliano Casale and Nicholas R. Jennings
• Abstract要約: 本稿では,生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案する。 GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。 我々のフレームワークでは、検出F1スコアが最大で32%、メモリ消費が58%、トレーニングオーバーヘッドが最先端と比較してわずか5%高いことが示されています。
• 参考スコア（独自算出の注目度）: 11.452816167207937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In standard generative deep learning models, such as autoencoders or GANs, the size of the parameter set is proportional to the complexity of the generated data distribution. A significant challenge is to deploy resource-hungry deep learning models in devices with limited memory to prevent system upgrade costs. To combat this, we propose a novel framework called generative optimization networks (GON) that is similar to GANs, but does not use a generator, significantly reducing its memory footprint. GONs use a single discriminator network and run optimization in the input space to generate new data samples, achieving an effective compromise between training time and memory consumption. GONs are most suited for data generation problems in limited memory settings. Here we illustrate their use for the problem of anomaly detection in memory-constrained edge devices arising from attacks or intrusion events. Specifically, we use a GON to calculate a reconstruction-based anomaly score for input time-series windows. Experiments on a Raspberry-Pi testbed with two existing and a new suite of datasets show that our framework gives up to 32% higher detection F1 scores and 58% lower memory consumption, with only 5% higher training overheads compared to the state-of-the-art.
• Abstract（参考訳）: オートエンコーダやgansのような標準的な生成型ディープラーニングモデルでは、パラメータセットのサイズは生成されたデータ分布の複雑さに比例する。 重要な課題は、リソース不足のディープラーニングモデルを限られたメモリを持つデバイスにデプロイすることで、システムのアップグレードコストを抑えることである。 これに対抗するために、生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案し、GANと似ているがジェネレータは使用せず、メモリフットプリントを大幅に削減する。 GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。 GONは、限られたメモリ設定におけるデータ生成問題に最も適している。 ここでは、攻撃や侵入によるメモリ制限エッジデバイスにおける異常検出の問題点について説明する。 具体的には、gonを用いて入力時系列ウィンドウの再構成に基づく異常スコアを算出する。 2つの既存のデータセットと1つの新しいデータセットからなるraspberry-piテストベッドの実験では、我々のフレームワークは検出f1スコアを最大32%高くし、58%のメモリ消費を削減し、最先端よりもトレーニングオーバーヘッドをわずか5%高めている。

関連論文リスト

• Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices [9.928745904761358]
  エッジインテリジェンスにより、元のデータを転送することなく、リソース要求のDeep Neural Network(DNN)推論が可能になる。 プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。 我々は,モデル推論における包括的プライバシ保護を保証するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-19T09:22:50Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• TinyAD: Memory-efficient anomaly detection for time series data in Industrial IoT [43.207210990362825]
  我々は,リアルタイムな異常検出のためのCNNのオンボード推論を効率的に行うための,Tiny Anomaly Detection (TinyAD) という新しいフレームワークを提案する。 CNNのピークメモリ消費を低減するため、我々は2つの相補的戦略、 in-place と patch-by-patch のメモリ再スケジューリングについて検討する。 我々のフレームワークは、オーバーヘッドを無視してピークメモリ消費を2～5倍削減できる。
  論文  参考訳（メタデータ） (2023-03-07T02:56:15Z)
• DRAGON: Decentralized Fault Tolerance in Edge Federations [13.864161788250856]
  我々は、新しいメモリ効率のディープラーニングベースモデル、すなわち生成最適化ネットワーク(GON)を提案する。 GONは入力とサンプルを区別するために単一のネットワークを使用し、メモリフットプリントを大幅に削減する。 本稿では,エッジフェデレーションの性能を迅速に予測し,最適化するためにシミュレーションを実行するDRAGONと呼ばれる分散型フォールトトレランス手法を提案する。
  論文  参考訳（メタデータ） (2022-08-16T10:40:28Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
  機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。 本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。 その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
  論文  参考訳（メタデータ） (2021-07-14T19:45:49Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。