論文の概要: AdaScale: Dynamic Context-aware DNN Scaling via Automated Adaptation Loop on Mobile Devices

• arxiv url: http://arxiv.org/abs/2412.00724v1
• Date: Sun, 01 Dec 2024 08:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:36.669313
• Title: AdaScale: Dynamic Context-aware DNN Scaling via Automated Adaptation Loop on Mobile Devices
• Title（参考訳）: AdaScale: モバイルデバイスの自動適応ループによる動的コンテキスト認識DNNスケーリング
• Authors: Yuzhan Wang, Sicong Liu, Bin Guo, Boqi Zhang, Ke Ma, Yasan Ding, Hao Luo, Yao Li, Zhiwen Yu,
• Abstract要約: 我々は,動的コンテキストへの深層モデルの適応を自動化する弾性推論フレームワークであるAdaScaleを紹介した。 AdaScaleは精度を5.09%向上し、トレーニングオーバーヘッドを66.89%削減し、推論遅延を1.51倍から6.2倍に高速化し、エネルギーコストを4.69倍削減する。
• 参考スコア（独自算出の注目度）: 16.5444553304756
• License:
• Abstract: Deep learning is reshaping mobile applications, with a growing trend of deploying deep neural networks (DNNs) directly to mobile and embedded devices to address real-time performance and privacy. To accommodate local resource limitations, techniques like weight compression, convolution decomposition, and specialized layer architectures have been developed. However, the \textit{dynamic} and \textit{diverse} deployment contexts of mobile devices pose significant challenges. Adapting deep models to meet varied device-specific requirements for latency, accuracy, memory, and energy is labor-intensive. Additionally, changing processor states, fluctuating memory availability, and competing processes frequently necessitate model re-compression to preserve user experience. To address these issues, we introduce AdaScale, an elastic inference framework that automates the adaptation of deep models to dynamic contexts. AdaScale leverages a self-evolutionary model to streamline network creation, employs diverse compression operator combinations to reduce the search space and improve outcomes, and integrates a resource availability awareness block and performance profilers to establish an automated adaptation loop. Our experiments demonstrate that AdaScale significantly enhances accuracy by 5.09%, reduces training overhead by 66.89%, speeds up inference latency by 1.51 to 6.2 times, and lowers energy costs by 4.69 times.
• Abstract（参考訳）: ディープラーニングは、モバイルアプリケーションの形を変えつつある。リアルタイムのパフォーマンスとプライバシに対処するために、モバイルおよび組み込みデバイスに直接ディープニューラルネットワーク(DNN)をデプロイする傾向が高まっている。 局所的な資源制限に対応するため、重量圧縮、畳み込み分解、特殊層アーキテクチャなどの技術が開発されている。 しかし、モバイルデバイスの \textit{dynamic} と \textit{diverse} デプロイメントコンテキストは、大きな課題を引き起こしている。 レイテンシ、正確性、メモリ、エネルギーに関するさまざまなデバイス固有の要件を満たすために、ディープモデルを適用することは、労働集約的です。 さらに、プロセッサの状態の変更、メモリの可用性の変動、競合するプロセスは、ユーザーエクスペリエンスを維持するためにしばしばモデル再圧縮を必要とする。 これらの問題に対処するため,動的コンテキストへの深層モデルの適応を自動化する弾性推論フレームワークであるAdaScaleを紹介した。 AdaScaleは、自己進化モデルを活用してネットワーク生成を合理化し、さまざまな圧縮演算子の組み合わせを使用して検索スペースを削減し、結果を改善するとともに、リソース可用性認識ブロックとパフォーマンスプロファイラを統合して、自動適応ループを確立する。 実験の結果,AdaScaleは精度を5.09%向上し,トレーニングオーバーヘッドを66.89%削減し,推論遅延を1.51倍から6.2倍に短縮し,エネルギーコストを4.69倍削減した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient Federated Intrusion Detection in 5G ecosystem using optimized BERT-based model [0.7100520098029439]
  5Gは高度なサービスを提供し、IoT(Internet of Things)内のインテリジェントトランスポート、コネクテッドヘルスケア、スマートシティなどのアプリケーションをサポートする。 これらの進歩は、ますます高度なサイバー攻撃を伴う、重大なセキュリティ上の課題をもたらす。 本稿では,連合学習と大規模言語モデル(LLM)を用いた頑健な侵入検知システム(IDS)を提案する。
  論文  参考訳（メタデータ） (2024-09-28T15:56:28Z)
• Latent Neural Cellular Automata for Resource-Efficient Image Restoration [4.470499157873342]
  ニューラルセルオートマトン(LNCA)モデルを導入する。これはニューラルセルオートマトン(英語版)の資源制限に対処するために設計された新しいアーキテクチャである。 提案手法は,事前学習したオートエンコーダに頼って,従来の入力空間から特別に設計された潜在空間へ計算をシフトする。 この修正は、モデルのリソース消費を減らすだけでなく、様々なアプリケーションに適した柔軟なフレームワークも維持する。
  論文  参考訳（メタデータ） (2024-03-22T14:15:28Z)
• FrankenSplit: Efficient Neural Feature Compression with Shallow Variational Bottleneck Injection for Mobile Edge Computing [5.815300670677979]
  資源依存型圧縮モデルのための新しいフレームワークを導入し,非対称環境下での手法を広範囲に評価する。 提案手法は精度を低下させることなく最先端のSC法よりも60%低く,既存の標準のオフロードよりも16倍高速である。
  論文  参考訳（メタデータ） (2023-02-21T14:03:22Z)
• In-situ Model Downloading to Realize Versatile Edge AI in 6G Mobile Networks [61.416494781759326]
  In-situモデルダウンロードは、ネットワーク内のAIライブラリからダウンロードすることで、デバイス上のAIモデルを透過的でリアルタイムに置き換えることを目的としている。 提示されたフレームワークの重要なコンポーネントは、ダウンロードされたモデルを深さレベル、パラメータレベル、ビットレベルで動的に圧縮する一連のテクニックである。 我々は,3層(エッジ,ローカル,中央)AIライブラリのキー機能を備えた,インサイトモデルダウンロードのデプロイ用にカスタマイズされた6Gネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T13:41:15Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• DynO: Dynamic Onloading of Deep Neural Networks from Cloud to Device [17.43467167013752]
  両世界のベストを組み合わせ、いくつかの課題に取り組む分散推論フレームワークであるDynOを紹介します。 DynO が現在の最先端のパフォーマンスを上回り、デバイスのみの実行よりも桁違いにスループットが向上していることを示します。
  論文  参考訳（メタデータ） (2021-04-20T13:20:15Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• AdaSpring: Context-adaptive and Runtime-evolutionary Deep Model Compression for Mobile Applications [15.134752032646231]
  本稿では,文脈適応型かつ自己進化型DNN圧縮フレームワークであるAdaSpringを紹介する。 実行時適応圧縮をオンラインでローカルに行うことができる。 実験の結果、AdaSpringは最大で3.1倍の遅延低減、DNNの4.2倍のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2021-01-28T03:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。