論文の概要: Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in IIoT

• arxiv url: http://arxiv.org/abs/2004.04710v2
• Date: Thu, 21 Jan 2021 16:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:09:42.910517
• Title: Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in IIoT
• Title（参考訳）: Prune2Edge: IIoTの深層学習のためのマルチフェーズプルーニングパイプライン
• Authors: Besher Alhalabi, Mohamed Gaber, Shadi Basurra
• Abstract要約: IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。 第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。 提案手法は,ベースラインモデルの予測可能性レベルより優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most recently, with the proliferation of IoT devices, computational nodes in manufacturing systems IIoT(Industrial-Internet-of-things) and the lunch of 5G networks, there will be millions of connected devices generating a massive amount of data. In such an environment, the controlling systems need to be intelligent enough to deal with a vast amount of data to detect defects in a real-time process. Driven by such a need, artificial intelligence models such as deep learning have to be deployed into IIoT systems. However, learning and using deep learning models are computationally expensive, so an IoT device with limited computational power could not run such models. To tackle this issue, edge intelligence had emerged as a new paradigm towards running Artificial Intelligence models on edge devices. Although a considerable amount of studies have been proposed in this area, the research is still in the early stages. In this paper, we propose a novel edge-based multi-phase pruning pipelines to ensemble learning on IIoT devices. In the first phase, we generate a diverse ensemble of pruned models, then we apply integer quantisation, next we prune the generated ensemble using a clustering-based technique. Finally, we choose the best representative from each generated cluster to be deployed to a distributed IoT environment. On CIFAR-100 and CIFAR-10, our proposed approach was able to outperform the predictability levels of a baseline model (up to 7%), more importantly, the generated learners have small sizes (up to 90% reduction in the model size) that minimise the required computational capabilities to make an inference on the resource-constraint devices.
• Abstract（参考訳）: 最近では、IoTデバイスの普及、製造システムIIoT(Industrial-Internet-of-Things)における計算ノード、および5Gネットワークのランチなどにより、大量のデータを生成する数百万の接続デバイスが存在する。 このような環境では、制御システムは、リアルタイムプロセスの欠陥を検出するために大量のデータを扱うのに十分な知性を持つ必要がある。 このようなニーズにより、ディープラーニングのような人工知能モデルをIIoTシステムにデプロイする必要がある。 しかし、ディープラーニングモデルの学習と使用は計算コストが高いため、計算能力に制限のあるIoTデバイスではそのようなモデルを実行できない。 この問題に取り組むために、エッジデバイス上で人工知能モデルを実行するための新しいパラダイムとして、エッジインテリジェンスが登場した。 この領域ではかなりの量の研究が提案されているが、研究はまだ初期段階にある。 本稿では,IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。 第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。 最後に、各生成されたクラスタから、分散IoT環境にデプロイする最適な代表を選択します。 CIFAR-100 と CIFAR-10 では,提案手法がベースラインモデルの予測可能性レベル(最大7%)を上回り,生成した学習者は,資源制約デバイス上での推論に必要な計算能力を最小限に抑えるため,より小さなサイズ(最大90%のモデルサイズ削減)を達成できた。

関連論文リスト

• Efficient Intrusion Detection: Combining $χ^2$ Feature Selection with CNN-BiLSTM on the UNSW-NB15 Dataset [2.239394800147746]
  侵入検知システム(IDS)は、従来のコンピュータシステムにおけるサイバー攻撃の検出と防止に重要な役割を果たしてきた。 Internet of Things(IoT)デバイスで利用可能な限られた計算リソースは、従来のコンピューティングベースのIDSをデプロイする上での課題である。 本稿では、軽量畳み込みニューラルネットワーク(CNN)と双方向長短期記憶(BiLSTM)を組み合わせた効果的なIDSモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T17:41:16Z)
• Advancing IIoT with Over-the-Air Federated Learning: The Role of Iterative Magnitude Pruning [14.818439341517733]
  産業用IoT(Industrial Internet of Things, IIoT)は、産業用4.0で、相互接続型スマートデバイスの時代を象徴している。 FL(Federated Learning)は、デバイス間のデータプライバシとセキュリティに対処する。 FLは、機密データを明示的に共有することなく、エッジセンサーがデータをローカルで学習し、適応することを可能にする。
  論文  参考訳（メタデータ） (2024-03-21T04:15:56Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search [6.316693022958222]
  ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。 大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。 本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T04:47:53Z)
• IoT Security: Botnet detection in IoT using Machine learning [0.0]
  本研究は、IoTネットワークにおけるボットネットベースの分散サービス拒否(DDoS)攻撃の検出と緩和に機械学習アルゴリズムを用いた革新的なモデルを提案する。 提案モデルでは,ボットの脅威に関するセキュリティ問題に対処する。
  論文  参考訳（メタデータ） (2021-04-06T01:47:50Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。