論文の概要: Latency-Constrained DNN Architecture Learning for Edge Systems using Zerorized Batch Normalization

• arxiv url: http://arxiv.org/abs/2607.06922v1
• Date: Wed, 08 Jul 2026 02:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.253184
• Title: Latency-Constrained DNN Architecture Learning for Edge Systems using Zerorized Batch Normalization
• Title（参考訳）: ゼロ化バッチ正規化を用いたエッジシステムのレイテンシ制約付きDNNアーキテクチャ学習
• Abstract要約: 本稿では,レイテンシ制約を満たすとともに,高精度なモデル最適化のためのレイテンシ指向ニューラルネットワーク学習手法を提案する。 実験の結果, 最先端手法と比較して, 提案手法は'ハード'遅延制約に適合し, 精度が高いことがわかった。
• 参考スコア（独自算出の注目度）: 14.773546936783468
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning applications have been widely adopted on edge devices, to mitigate the privacy and latency issues of accessing cloud servers. Deciding the number of neurons during the design of a deep neural network to maximize performance is not intuitive. Particularly, many application scenarios are real-time and have a strict latency constraint, while conventional neural network optimization methods do not directly change the temporal cost of model inference for latency-critical edge systems. In this work, we propose a latency-oriented neural network learning method to optimize models for high accuracy while fulfilling the latency constraint. For efficiency, we also introduce a universal hardware-customized latency predictor to optimize this procedure to learn a model that satisfies the latency constraint by only a one-shot training process. The experiment results reveal that, compared to state-of-the-art methods, our approach can well-fit the 'hard' latency constraint and achieve high accuracy. Under the same training settings as the original model and satisfying a 34 ms latency constraint on the ImageNet-100 dataset, we reduce GoogLeNet's latency from 40.32 ms to 34 ms with a 0.14% accuracy reduction on the NVIDIA Jetson Nano. When coupled with quantization, our method can be further improved to only 0.04% drop for GoogLeNet. On the NVIDIA Jetson TX2, we compress VGG-19 from 119.98 ms to 34 ms and even improve its accuracy by 0.5%, and we scale GoogLeNet up from 20.27 ms to 34 ms and achieve higher accuracy by 0.78%. We also open source this framework at https://github.com/ntuliuteam/ZeroBN
• Abstract（参考訳）: ディープラーニングアプリケーションは、クラウドサーバーにアクセスする際のプライバシーとレイテンシの問題を軽減するために、エッジデバイスで広く採用されている。 ディープニューラルネットワークの設計において、パフォーマンスを最大化するためにニューロンの数を決定するのは直感的ではない。 特に、多くのアプリケーションシナリオはリアルタイムであり、厳格なレイテンシ制約があるが、従来のニューラルネットワーク最適化手法では、レイテンシクリティカルエッジシステムのモデル推論の時間的コストを直接変更することはない。 本研究では,レイテンシ制約を満たすとともに,高精度なモデル最適化のためのレイテンシ指向ニューラルネットワーク学習手法を提案する。 また,この手法を最適化し,ワンショットトレーニングプロセスのみで遅延制約を満たすモデルを学習するために,ハードウェアに最適化された汎用遅延予測器を導入する。 実験の結果, 最先端手法と比較して, 提案手法は「ハード」遅延制約に適合し, 精度が高いことがわかった。 オリジナルのモデルと同じトレーニング設定の下で、ImageNet-100データセットで34msのレイテンシ制約を満たすため、NVIDIA Jetson Nanoで0.14%の精度で、GoogLeNetのレイテンシを40.32msから34msに削減します。 量子化と組み合わせれば,GoogLeNetは0.04%の低下しか得られない。 NVIDIA Jetson TX2では、VGG-19を119.98msから34msに圧縮し、精度を0.5%向上させ、GoogLeNetを20.27msから34msに拡大し、精度を0.78%向上させる。 私たちはこのフレームワークをhttps://github.com/ntuliuteam/ZeroBNでオープンソースにしています。

関連論文リスト

• Collate: Collaborative Neural Network Learning for Latency-Critical Edge Systems [14.758436987654504]
  フェデレートラーニング(FL)は、複数のクライアントが協力してモデルを学習し、データのプライバシを保護しながら、各クライアントのトレーニングデータを高精度に拡張する。 既存のFLの最適化では、トレーニング効率の改善に重点を置いているが、特にレイテンシの制約がある場合、推論のスピードアップに失敗している。 複数エッジシステムのレイテンシ制約を同時に満たすために、異種モデルを協調的に学習する新しいトレーニングフレームワークであるCollateを提案する。
  論文  参考訳（メタデータ） (2026-07-09T00:39:20Z)
• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
  準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。 本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:24:35Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition [38.28868751443619]
  本稿では,シーケンストランスデューサモデルの遅延を明示的にモデル化し,遅延を低減するための新しいトレーニング手法を提案する。 実験結果から,提案した最小レイテンシトレーニングにより,WER劣化率0.7%において,因果コンバータ-Tのレイテンシを220msから27msに短縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-04T09:19:59Z)
• Latency-aware Spatial-wise Dynamic Networks [33.88843632160247]
  深層ネットワークのための遅延認識型空間的動的ネットワーク(LASNet)を提案する。 LASNetは、新しい遅延予測モデルのガイダンスに基づき、粗粒度空間適応推論を行う。 画像分類,オブジェクト検出,インスタンスセグメンテーションの実験により,提案手法はディープネットワークの実用的な推論効率を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-12T14:09:27Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search [85.96350089047398]
  本研究では,3自由度NAS(TF-NAS)を提案する。 特に,検索したTF-NAS-Aは76.9%のTop-1精度を示し,レイテンシを低減した最新結果が得られる。
  論文  参考訳（メタデータ） (2020-08-12T13:44:20Z)
• Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
  近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。 しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。 本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
  論文  参考訳（メタデータ） (2020-01-17T15:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。