論文の概要: GroupNL: Low-Resource and Robust CNN Design over Cloud and Device
- arxiv url: http://arxiv.org/abs/2506.12335v1
- Date: Sat, 14 Jun 2025 04:02:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:45.886667
- Title: GroupNL: Low-Resource and Robust CNN Design over Cloud and Device
- Title（参考訳）: GroupNL: クラウドとデバイス上での低リソースでロバストなCNN設計
- Authors: Chuntao Ding, Jianhang Xie, Junna Zhang, Salman Raza, Shangguang Wang, Jiannong Cao,
- Abstract要約: クラウドの助けを借りて、ユビキタスモノのインターネット(IoT)デバイスに畳み込みニューラルネットワーク(CNN)モデルをデプロイすることで、さまざまな高品質なサービスを提供している。
既存のほとんどの手法は、IoTデバイスが収集した劣化した画像データの処理におけるロバストネスの低さと、(II)計算および送信リソースの高消費という2つの制限がある。
- 参考スコア（独自算出の注目度）: 11.268933978611845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has become mainstream to deploy Convolutional Neural Network (CNN) models on ubiquitous Internet of Things (IoT) devices with the help of the cloud to provide users with a variety of high-quality services. Most existing methods have two limitations: (i) low robustness in handling corrupted image data collected by IoT devices; and (ii) high consumption of computational and transmission resources. To this end, we propose the Grouped NonLinear transformation generation method (GroupNL), which generates diversified feature maps by utilizing data-agnostic Nonlinear Transformation Functions (NLFs) to improve the robustness of the CNN model. Specifically, partial convolution filters are designated as seed filters in a convolutional layer, and a small set of feature maps, i.e., seed feature maps, are first generated based on vanilla convolution operation. Then, we split seed feature maps into several groups, each with a set of different NLFs, to generate corresponding diverse feature maps with in-place nonlinear processing. Moreover, GroupNL effectively reduces the parameter transmission between multiple nodes during model training by setting the hyperparameters of NLFs to random initialization and not updating them during model training, and reduces the computing resources by using NLFs to generate feature maps instead of most feature maps generated based on sliding windows. Experimental results on CIFAR-10, GTSRB, CIFAR-10-C, Icons50, and ImageNet-1K datasets in NVIDIA RTX GPU platforms show that the proposed GroupNL outperforms other state-of-the-art methods in model robust and training acceleration. Specifically, on the Icons-50 dataset, the accuracy of GroupNL-ResNet-18 achieves approximately 2.86% higher than the vanilla ResNet-18. GroupNL improves training speed by about 53% compared to vanilla CNN when trained on a cluster of 8 NVIDIA RTX 4090 GPUs on the ImageNet-1K dataset.
- Abstract（参考訳）: クラウドの助けを借りて、ユビキタスモノのインターネット(IoT)デバイスに畳み込みニューラルネットワーク(CNN)モデルをデプロイすることで、さまざまな高品質なサービスを提供している。
既存の方法には2つの制限がある。
(i)IoTデバイスが収集した劣化画像データの処理におけるロバスト性、及び
(II)計算・送信資源の高消費化。
そこで本研究では,データに依存しない非線形変換関数(NLF)を用いて,CNNモデルのロバスト性を改善することにより,多角化特徴写像を生成するグループ非Linear変換生成法を提案する。
具体的には、部分畳み込みフィルタを畳み込み層内のシードフィルタとして指定し、バニラ畳み込み操作に基づいて、少数の特徴写像、すなわち種の特徴写像を最初に生成する。
そこで, シード特徴写像を複数のグループに分割し, それぞれ異なるNLFを用いて, インプレース非線形処理で対応する多様な特徴写像を生成する。
さらに、グループNLは、NLFのハイパーパラメータをランダム初期化に設定し、モデルトレーニング中に更新しないことにより、モデルトレーニング中の複数のノード間のパラメータ伝達を効果的に削減し、NLFを使用して、スライディングウインドウに基づいて生成されたほとんどの特徴マップではなく、特徴マップを生成することにより、計算資源を削減する。
NVIDIA RTX GPUプラットフォームにおけるCIFAR-10, GTSRB, CIFAR-10-C, Icons50, ImageNet-1Kデータセットの実験結果は、提案したGroupNLがモデルロバストおよびトレーニングアクセラレーションにおいて、他の最先端手法よりも優れていることを示している。
具体的には、Icons-50データセットでは、GroupNL-ResNet-18の精度はバニラResNet-18よりも約2.86%高い。
GroupNLは、ImageNet-1Kデータセット上の8つのNVIDIA RTX 4090GPUのクラスタでトレーニングされた場合、バニラCNNと比較して、トレーニング速度を約53%改善する。
関連論文リスト
- CTA-Net: A CNN-Transformer Aggregation Network for Improving Multi-Scale Feature Extraction [14.377544481394013]
CTA-NetはCNNとViTを組み合わせて、長距離依存関係をキャプチャするトランスフォーマーと、ローカライズされた特徴を抽出するCNNを備えている。
この統合により、詳細なローカルおよびより広いコンテキスト情報の効率的な処理が可能になる。
10万以上のサンプルを持つ小規模データセットの実験は、CTA-Netが優れたパフォーマンスを実現していることを示している。
論文 参考訳（メタデータ） (2024-10-15T09:27:26Z) - Adaptive aggregation of Monte Carlo augmented decomposed filters for efficient group-equivariant convolutional neural network [0.36122488107441414]
グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。
群同変ニューラルネットワークに対する非パラメータ共有手法を提案する。
提案手法は, 拡張フィルタの重み付け和により, 多様なフィルタを適応的に集約する。
論文 参考訳（メタデータ） (2023-05-17T10:18:02Z) - Lightweight Real-time Semantic Segmentation Network with Efficient
Transformer and CNN [34.020978009518245]
LETNetと呼ばれる軽量なリアルタイムセマンティックセグメンテーションネットワークを提案する。
LETNetは、U字型のCNNとTransformerをカプセル埋め込みスタイルで効果的に組み合わせ、それぞれの欠陥を補う。
挑戦的なデータセットで実施された実験は、LETNetが精度と効率のバランスにおいて優れたパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2023-02-21T07:16:53Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Towards Scalable Distributed Training of Deep Learning on Public Cloud
Clusters [30.4449309904155]
分散トレーニングのための新しいトップkスパシフィケーション通信ライブラリを提案する。
CNNやTransformerの既存の最先端システムよりも25%～40%高速であることを示す。
論文 参考訳（メタデータ） (2020-10-20T17:16:29Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Local Grid Rendering Networks for 3D Object Detection in Point Clouds [98.02655863113154]
CNNは強力だが、全点の雲を高密度の3Dグリッドに酸化した後、点データに直接畳み込みを適用するのは計算コストがかかる。
入力点のサブセットの小さな近傍を低解像度の3Dグリッドに独立してレンダリングする,新しい,原理化されたローカルグリッドレンダリング(LGR)演算を提案する。
ScanNetとSUN RGB-Dデータセットを用いた3次元オブジェクト検出のためのLGR-Netを検証する。
論文 参考訳（メタデータ） (2020-07-04T13:57:43Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。