論文の概要: Collaborative Inference via Dynamic Composition of Tiny AI Accelerators on MCUs

• arxiv url: http://arxiv.org/abs/2401.08637v1
• Date: Mon, 11 Dec 2023 23:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 09:52:11.292658
• Title: Collaborative Inference via Dynamic Composition of Tiny AI Accelerators on MCUs
• Title（参考訳）: mcus上の小型aiアクセラレータの動的構成による協調推論
• Authors: Taesik Gong, Si Young Jang, Utku G\"unay Acer, Fahim Kawsar, Chulhong Min
• Abstract要約: 本稿では,マルチテナントモデルのための小型AIアクセラレータを動的に構成するシステムであるSynergyを紹介する。 Synergyの重要な特徴は、その仮想コンピューティング空間であり、リソースの統一的で効率的なビューを提供する。 評価の結果,Synergyはベースラインに比べて平均8.0倍のスループット向上を示した。
• 参考スコア（独自算出の注目度）: 8.836547766588279
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The advent of tiny AI accelerators opens opportunities for deep neural network deployment at the extreme edge, offering reduced latency, lower power cost, and improved privacy in on-device ML inference. Despite these advancements, challenges persist due to inherent limitations of these accelerators, such as restricted onboard memory and single-device focus. This paper introduces Synergy, a system that dynamically composes tiny AI accelerators for multi-tenant models, effectively addressing tinyML's critical challenges for the increasing demand for on-device AI. A key feature of Synergy is its virtual computing space, providing a unified, virtualized view of resources and enabling efficient task mapping to physical devices. Synergy's runtime orchestration module ensures optimal inference across dynamic and heterogeneous accelerators. Our evaluations with 7 baselines and 8 models demonstrate that Synergy improves throughput by an average of 8.0X compared to baselines.
• Abstract（参考訳）: 小さなAIアクセラレータの出現は、極端にディープニューラルネットワークをデプロイする機会を開放し、レイテンシを低減し、電力コストを低減し、オンデバイスML推論におけるプライバシを改善する。 これらの進歩にもかかわらず、オンボードメモリの制限やシングルデバイスフォーカスなど、これらのアクセラレータの固有の制限により、課題は継続する。 本稿では,マルチテナントモデル用の小型AIアクセラレータを動的に構成するシステムであるSynergyを紹介する。 Synergyの重要な特徴は、その仮想コンピューティング空間であり、リソースの統一された仮想ビューを提供し、物理デバイスへの効率的なタスクマッピングを可能にする。 Synergyのランタイムオーケストレーションモジュールは、動的および異種アクセラレータ間の最適な推論を保証する。 7つのベースラインと8つのモデルで評価した結果,Synergyはベースラインと比較して平均8.0倍のスループット向上を実現している。

関連論文リスト

• Profiling AI Models: Towards Efficient Computation Offloading in Heterogeneous Edge AI Systems [0.2357055571094446]
  本稿では、AIモデルのプロファイリング、モデルタイプと基盤となるハードウェアに関するデータ収集、リソース利用とタスク完了時間の予測に焦点を当てた研究ロードマップを提案する。 3,000以上の実行での実験は、リソース割り当ての最適化とEdge AIのパフォーマンス向上を約束している。
  論文  参考訳（メタデータ） (2024-10-30T16:07:14Z)
• Generative Diffusion-based Contract Design for Efficient AI Twins Migration in Vehicular Embodied AI Networks [55.15079732226397]
  Embodied AIは、サイバースペースと物理空間のギャップを埋める、急速に進歩する分野だ。 VEANETでは、組み込まれたAIツインが車載AIアシスタントとして機能し、自律運転をサポートするさまざまなタスクを実行する。
  論文  参考訳（メタデータ） (2024-10-02T02:20:42Z)
• Adaptation of XAI to Auto-tuning for Numerical Libraries [0.0]
  説明可能なAI(XAI)技術は、AIモデル開発の合理化と、ユーザへのAI出力の説明の負担軽減を目的として、注目を集めている。 本研究は,2つの異なるプロセスに統合されたAIモデルのXAIに着目し,数値計算を行う。
  論文  参考訳（メタデータ） (2024-05-12T09:00:56Z)
• Realtime Facial Expression Recognition: Neuromorphic Hardware vs. Edge AI Accelerators [0.5492530316344587]
  本稿では,社会ロボティクスなどの実世界の様々な応用における重要な要素として,リアルタイム表情認識(FER)システムに焦点をあてる。 フェース機械学習(ML)モデルをエッジに展開するためのハードウェアオプションとして,ニューロモルフィックハードウェアとエッジAIアクセラレータの2つについて検討する。
  論文  参考訳（メタデータ） (2024-01-30T16:12:20Z)
• Multi-Objective Optimization for UAV Swarm-Assisted IoT with Virtual Antenna Arrays [55.736718475856726]
  無人航空機(UAV)ネットワークはIoT(Internet-of-Things)を支援するための有望な技術である 既存のUAV支援データ収集および普及スキームでは、UAVはIoTとアクセスポイントの間を頻繁に飛行する必要がある。 協調ビームフォーミングをIoTとUAVに同時に導入し、エネルギーと時間効率のデータ収集と普及を実現した。
  論文  参考訳（メタデータ） (2023-08-03T02:49:50Z)
• Large Language Models Empowered Autonomous Edge AI for Connected Intelligence [51.269276328087855]
  エッジ人工知能(Edge AI)は、コネクテッドインテリジェンスを実現するための有望なソリューションである。 この記事では、ユーザのさまざまな要件を満たすために自動的に組織化し、適応し、最適化する、自律的なエッジAIシステムのビジョンを示す。
  論文  参考訳（メタデータ） (2023-07-06T05:16:55Z)
• Hardware Acceleration of Explainable Artificial Intelligence [5.076419064097733]
  我々は,既存のハードウェアアクセラレーターを用いて,様々なXAIアルゴリズムを高速化する,シンプルかつ効率的なフレームワークを提案する。 提案手法はリアルタイムな結果解釈につながる可能性がある。
  論文  参考訳（メタデータ） (2023-05-04T19:07:29Z)
• Data-Model-Circuit Tri-Design for Ultra-Light Video Intelligence on Edge Devices [90.30316433184414]
  本稿では,HDビデオストリーム上での高スループット,低コスト,高精度MOTのためのデータモデル・ハードウエア・トリデザイン・フレームワークを提案する。 現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。
  論文  参考訳（メタデータ） (2022-10-16T16:21:40Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• Multiply-and-Fire (MNF): An Event-driven Sparse Neural Network Accelerator [3.224364382976958]
  この研究は、ANNアクセラレーションに対するイベント駆動(あるいはアクティベーション駆動)アプローチで、スパーシリティをユニークな視点で見る。 我々の分析および実験結果から、このイベント駆動型ソリューションは、CNNとワークロードの両方で高効率なAI推論を可能にするために、新たな方向を示すことが示されている。
  論文  参考訳（メタデータ） (2022-04-20T21:56:50Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。