論文の概要: Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment

• arxiv url: http://arxiv.org/abs/2403.10569v1
• Date: Thu, 14 Mar 2024 19:40:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:55:17.986084
• Title: Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment
• Title（参考訳）: 資源制約エッジ環境におけるDNNの効率的なパラメータ削減によるパレート最適性の実現
• Authors: Atah Nuh Mih, Alireza Rahimi, Asfia Kawnine, Francis Palma, Monica Wachowicz, Rickey Dubay, Hung Cao,
• Abstract要約: 本稿では,既存のDeep Neural Network (DNN) の最適化を提案する。 精度を犠牲にすることなくモデルサイズを縮小し、トレーニング中のメモリ使用量を削減できるXceptionの効率的なパラメータ削減戦略を実装した。
• 参考スコア（独自算出の注目度）: 1.9055921262476347
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes an optimization of an existing Deep Neural Network (DNN) that improves its hardware utilization and facilitates on-device training for resource-constrained edge environments. We implement efficient parameter reduction strategies on Xception that shrink the model size without sacrificing accuracy, thus decreasing memory utilization during training. We evaluate our model in two experiments: Caltech-101 image classification and PCB defect detection and compare its performance against the original Xception and lightweight models, EfficientNetV2B1 and MobileNetV2. The results of the Caltech-101 image classification show that our model has a better test accuracy (76.21%) than Xception (75.89%), uses less memory on average (847.9MB) than Xception (874.6MB), and has faster training and inference times. The lightweight models overfit with EfficientNetV2B1 having a 30.52% test accuracy and MobileNetV2 having a 58.11% test accuracy. Both lightweight models have better memory usage than our model and Xception. On the PCB defect detection, our model has the best test accuracy (90.30%), compared to Xception (88.10%), EfficientNetV2B1 (55.25%), and MobileNetV2 (50.50%). MobileNetV2 has the least average memory usage (849.4MB), followed by our model (865.8MB), then EfficientNetV2B1 (874.8MB), and Xception has the highest (893.6MB). We further experiment with pre-trained weights and observe that memory usage decreases thereby showing the benefits of transfer learning. A Pareto analysis of the models' performance shows that our optimized model architecture satisfies accuracy and low memory utilization objectives.
• Abstract（参考訳）: 本稿では,既存のDeep Neural Network (DNN) の最適化を提案する。 精度を犠牲にすることなくモデルサイズを縮小し、トレーニング中のメモリ使用量を削減できるXceptionの効率的なパラメータ削減戦略を実装した。 我々は,Caltech-101画像分類とPCB欠陥検出の2つの実験を行い,その性能をXceptionおよび軽量モデルであるEfficientNetV2B1とMobileNetV2と比較した。 Caltech-101 画像分類の結果、我々のモデルは Xception (75.89%) よりもテスト精度が76.21%、Xception (874.6MB) よりも平均で847.9MB (847.9MB) のメモリを使用せず、より高速なトレーニングと推論時間を持つことが示された。 軽量モデルは30.52%のテスト精度のEfficientNetV2B1と58.11%のテスト精度のMobileNetV2にオーバーフィットする。 どちらの軽量モデルも、私たちのモデルやXceptionよりもメモリ使用率が高い。 PCB欠陥検出では、Xception (88.10%)、EfficientNetV2B1 (55.25%)、MobileNetV2 (50.50%)と比較してテスト精度が90.30%が最も高い。 MobileNetV2はメモリ使用率が最も低く(849.4MB)、続いてモデルが865.8MB、EfficientNetV2B1 (874.8MB)、Xceptionは893.6MBである。 さらに、事前学習した重みを実験し、メモリ使用量が減少し、転送学習の利点が示されるのを観察する。 モデルの性能をパレート解析することにより、最適化されたモデルアーキテクチャが精度と低メモリ利用目標を満たすことを示す。

関連論文リスト

• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Developing a Resource-Constraint EdgeAI model for Surface Defect Detection [1.338174941551702]
  資源制約のあるエッジ環境におけるデバイス上でのトレーニングのために,Xceptionから修正した軽量なEdgeAIアーキテクチャを提案する。 我々はPCB欠陥検出タスクにおけるモデルの評価を行い、その性能を既存の軽量モデルと比較した。 本手法は他のリソース制約アプリケーションにも適用できるが,性能は高い。
  論文  参考訳（メタデータ） (2023-12-04T15:28:31Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Rethinking Deconvolution for 2D Human Pose Estimation Light yet Accurate Model for Real-time Edge Computing [0.0]
  このシステムは精度が高く、SOTA HRNet 256x192の94.5%の精度を達成した。 我々のモデルはエンコーダ・デコーダアーキテクチャを採用し、その効率を改善するために注意深く縮小されている。
  論文  参考訳（メタデータ） (2021-11-08T01:44:46Z)
• A contextual analysis of multi-layer perceptron models in classifying hand-written digits and letters: limited resources [0.0]
  我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。 基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-05T04:30:37Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• EfficientPose: Efficient Human Pose Estimation with Neural Architecture Search [47.30243595690131]
  効率的なバックボーンと効率的なヘッドの2つの部分を含む、人間のポーズ推定を目的とした効率的なフレームワークを提案します。 我々の最小モデルは、MPIIで88.1%のPCKh@0.5の0.65 GFLOPしか持たず、我々の大モデルは2 GFLOPしか持たないが、その精度は最先端の大型モデルと競合する。
  論文  参考訳（メタデータ） (2020-12-13T15:38:38Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。