論文の概要: Collaborative Inference via Dynamic Composition of Tiny AI Accelerators
on MCUs
- arxiv url: http://arxiv.org/abs/2401.08637v1
- Date: Mon, 11 Dec 2023 23:30:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 09:52:11.292658
- Title: Collaborative Inference via Dynamic Composition of Tiny AI Accelerators
on MCUs
- Title(参考訳): mcus上の小型aiアクセラレータの動的構成による協調推論
- Authors: Taesik Gong, Si Young Jang, Utku G\"unay Acer, Fahim Kawsar, Chulhong
Min
- Abstract要約: 本稿では,マルチテナントモデルのための小型AIアクセラレータを動的に構成するシステムであるSynergyを紹介する。
Synergyの重要な特徴は、その仮想コンピューティング空間であり、リソースの統一的で効率的なビューを提供する。
評価の結果,Synergyはベースラインに比べて平均8.0倍のスループット向上を示した。
- 参考スコア(独自算出の注目度): 8.836547766588279
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The advent of tiny AI accelerators opens opportunities for deep neural
network deployment at the extreme edge, offering reduced latency, lower power
cost, and improved privacy in on-device ML inference. Despite these
advancements, challenges persist due to inherent limitations of these
accelerators, such as restricted onboard memory and single-device focus. This
paper introduces Synergy, a system that dynamically composes tiny AI
accelerators for multi-tenant models, effectively addressing tinyML's critical
challenges for the increasing demand for on-device AI. A key feature of Synergy
is its virtual computing space, providing a unified, virtualized view of
resources and enabling efficient task mapping to physical devices. Synergy's
runtime orchestration module ensures optimal inference across dynamic and
heterogeneous accelerators. Our evaluations with 7 baselines and 8 models
demonstrate that Synergy improves throughput by an average of 8.0X compared to
baselines.
- Abstract(参考訳): 小さなAIアクセラレータの出現は、極端にディープニューラルネットワークをデプロイする機会を開放し、レイテンシを低減し、電力コストを低減し、オンデバイスML推論におけるプライバシを改善する。
これらの進歩にもかかわらず、オンボードメモリの制限やシングルデバイスフォーカスなど、これらのアクセラレータの固有の制限により、課題は継続する。
本稿では,マルチテナントモデル用の小型AIアクセラレータを動的に構成するシステムであるSynergyを紹介する。
Synergyの重要な特徴は、その仮想コンピューティング空間であり、リソースの統一された仮想ビューを提供し、物理デバイスへの効率的なタスクマッピングを可能にする。
Synergyのランタイムオーケストレーションモジュールは、動的および異種アクセラレータ間の最適な推論を保証する。
7つのベースラインと8つのモデルで評価した結果,Synergyはベースラインと比較して平均8.0倍のスループット向上を実現している。
関連論文リスト
- Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - Causal Reasoning: Charting a Revolutionary Course for Next-Generation
AI-Native Wireless Networks [63.246437631458356]
次世代無線ネットワーク(例:6G)は人工知能(AI)ネイティブである。
本稿では、新たな因果推論分野を基盤として、AIネイティブな無線ネットワークを構築するための新しいフレームワークを紹介する。
因果発見と表現によって対処できる無線ネットワークの課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-09-23T00:05:39Z) - Multi-Objective Optimization for UAV Swarm-Assisted IoT with Virtual
Antenna Arrays [55.736718475856726]
無人航空機(UAV)ネットワークはIoT(Internet-of-Things)を支援するための有望な技術である
既存のUAV支援データ収集および普及スキームでは、UAVはIoTとアクセスポイントの間を頻繁に飛行する必要がある。
協調ビームフォーミングをIoTとUAVに同時に導入し、エネルギーと時間効率のデータ収集と普及を実現した。
論文 参考訳(メタデータ) (2023-08-03T02:49:50Z) - In-situ Model Downloading to Realize Versatile Edge AI in 6G Mobile
Networks [61.416494781759326]
In-situモデルダウンロードは、ネットワーク内のAIライブラリからダウンロードすることで、デバイス上のAIモデルを透過的でリアルタイムに置き換えることを目的としている。
提示されたフレームワークの重要なコンポーネントは、ダウンロードされたモデルを深さレベル、パラメータレベル、ビットレベルで動的に圧縮する一連のテクニックである。
我々は,3層(エッジ,ローカル,中央)AIライブラリのキー機能を備えた,インサイトモデルダウンロードのデプロイ用にカスタマイズされた6Gネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T13:41:15Z) - Artificial Intelligence Empowered Multiple Access for Ultra Reliable and
Low Latency THz Wireless Networks [76.89730672544216]
テラヘルツ(THz)無線ネットワークは、第5世代(B5G)以上の時代を触媒すると予想されている。
いくつかのB5Gアプリケーションの超信頼性と低レイテンシ要求を満たすためには、新しいモビリティ管理アプローチが必要である。
本稿では、インテリジェントなユーザアソシエーションとリソースアロケーションを実現するとともに、フレキシブルで適応的なモビリティ管理を可能にする、全体論的MAC層アプローチを提案する。
論文 参考訳(メタデータ) (2022-08-17T03:00:24Z) - Romanus: Robust Task Offloading in Modular Multi-Sensor Autonomous
Driving Systems [9.21629452868642]
本稿では,マルチセンサ処理パイプラインを用いたモジュール型自律走行プラットフォームのための,堅牢で効率的なタスクオフロード手法を提案する。
我々のアプローチは、純粋な局所的な実行よりも14.99%エネルギー効率が高く、頑健な非依存のオフロードベースラインから77.06%のリスク行動の低減を実現している。
論文 参考訳(メタデータ) (2022-07-18T18:22:49Z) - AI in 6G: Energy-Efficient Distributed Machine Learning for Multilayer
Heterogeneous Networks [7.318997639507269]
本稿では,ネットワーク層とエンティティにまたがるさまざまな機械学習手法に関連するタスクを分散する,階層ベースの新しいHetNetアーキテクチャを提案する。
このようなHetNetは、複数のアクセス方式と、エネルギー効率を高めるためのデバイス間通信(D2D)を備えている。
論文 参考訳(メタデータ) (2022-06-04T22:03:19Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Hybrid Policy Learning for Energy-Latency Tradeoff in MEC-Assisted VR
Video Service [35.31115954442725]
モバイルエッジコンピューティングネットワーク上で、ワイヤレスマルチタイルVRビデオサービスの提供を検討する。
私たちはまず、時間によって変化するビューの人気をモデルフリーのマルコフチェーンとみなした。
次に、動的キャッシュ置換と決定論的オフロードを調整するためにハイブリッドポリシーが実装される。
論文 参考訳(メタデータ) (2021-04-02T13:17:11Z) - EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware
Multi-Task NLP Inference [82.1584439276834]
BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。
We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
論文 参考訳(メタデータ) (2020-11-28T19:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。