論文の概要: How to Reach Real-Time AI on Consumer Devices? Solutions for
Programmable and Custom Architectures
- arxiv url: http://arxiv.org/abs/2106.15021v1
- Date: Mon, 21 Jun 2021 11:23:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:46:51.608063
- Title: How to Reach Real-Time AI on Consumer Devices? Solutions for
Programmable and Custom Architectures
- Title（参考訳）: 消費者向けデバイスでリアルタイムaiにリーチする方法
プログラマブルでカスタムなアーキテクチャのためのソリューション
- Authors: Stylianos I. Venieris and Ioannis Panopoulos and Ilias Leontiadis and
Iakovos S. Venieris
- Abstract要約: ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。
このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。
クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
- 参考スコア（独自算出の注目度）: 7.085772863979686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The unprecedented performance of deep neural networks (DNNs) has led to large
strides in various Artificial Intelligence (AI) inference tasks, such as object
and speech recognition. Nevertheless, deploying such AI models across commodity
devices faces significant challenges: large computational cost, multiple
performance objectives, hardware heterogeneity and a common need for high
accuracy, together pose critical problems to the deployment of DNNs across the
various embedded and mobile devices in the wild. As such, we have yet to
witness the mainstream usage of state-of-the-art deep learning algorithms
across consumer devices. In this paper, we provide preliminary answers to this
potentially game-changing question by presenting an array of design techniques
for efficient AI systems. We start by examining the major roadblocks when
targeting both programmable processors and custom accelerators. Then, we
present diverse methods for achieving real-time performance following a
cross-stack approach. These span model-, system- and hardware-level techniques,
and their combination. Our findings provide illustrative examples of AI systems
that do not overburden mobile hardware, while also indicating how they can
improve inference accuracy. Moreover, we showcase how custom ASIC- and
FPGA-based accelerators can be an enabling factor for next-generation AI
applications, such as multi-DNN systems. Collectively, these results highlight
the critical need for further exploration as to how the various cross-stack
solutions can be best combined in order to bring the latest advances in deep
learning close to users, in a robust and efficient manner.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の先例のない性能は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらしている。
それでも、大きな計算コスト、複数のパフォーマンス目標、ハードウェアの不均一性、そして高い精度の必要性は、野生の様々な組み込みデバイスとモバイルデバイスをまたいだdnnのデプロイに重大な問題をもたらします。
そのため、消費者デバイスにまたがって最先端のディープラーニングアルゴリズムが主流であるのをまだ見ていない。
本稿では,効率的なAIシステムのための設計手法の配列を提示することにより,ゲーム変更の可能性に対する予備的な回答を提供する。
まず、プログラム可能なプロセッサとカスタムアクセラレータの両方を対象として、主要な障害を調べます。
次に,クロススタックアプローチによるリアルタイムパフォーマンスを実現するための多様な手法を提案する。
これらはモデル、システム、ハードウェアレベルの技術、それらの組み合わせにまたがる。
本研究は,モバイルハードウェアを過大評価しないAIシステムの実例を示すとともに,推論精度を向上させる方法を示す。
さらに,マルチDNNシステムなどの次世代AIアプリケーションにおいて,カスタムASICおよびFPGAベースのアクセラレータが実現可能な要素であることを示す。
これらの結果は、より堅牢で効率的な方法で、ディープラーニングの最新の進歩をユーザに近づけるために、さまざまなクロススタックソリューションを最もうまく組み合わせる方法に関する、さらなる調査の必要性を浮き彫りにしている。
関連論文リスト
- Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Uncertainty Estimation in Multi-Agent Distributed Learning for AI-Enabled Edge Devices [0.0]
エッジIoTデバイスはFPGAとAIアクセラレータの導入によってパラダイムシフトを経験している。
この進歩は、エッジAIの実用性を強調し、その計算能力を大幅に増幅した。
本研究では,AI対応エッジデバイスによる分散データ処理を実現する手法について検討し,協調学習能力を向上する。
論文 参考訳（メタデータ） (2024-03-14T07:40:32Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Edge AI Inference in Heterogeneous Constrained Computing: Feasibility
and Opportunities [9.156192191794567]
AI推論アクセラレータの急増はイノベーションを示すだけでなく、課題も浮き彫りにしている。
本稿では,ハードウェアの多様性に対応するフレームワークの要件とコンポーネントについて概説する。
次に、デバイスの不均一性がAI推論性能に与える影響を評価し、サービス品質を損なうことなく結果の最適化戦略を特定する。
論文 参考訳（メタデータ） (2023-10-27T16:46:59Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Enable Deep Learning on Mobile Devices: Methods, Systems, and
Applications [46.97774949613859]
ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた
しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。
本稿では,効率的なディープラーニング手法,システム,応用について概説する。
論文 参考訳（メタデータ） (2022-04-25T16:52:48Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Pervasive AI for IoT Applications: Resource-efficient Distributed
Artificial Intelligence [45.076180487387575]
人工知能(AI)は、さまざまなモノのインターネット(IoT)アプリケーションやサービスにおいて大きなブレークスルーを目の当たりにした。
これは、感覚データへの容易なアクセスと、リアルタイムデータストリームのゼッタバイト(ZB)を生成する広帯域/ユビキタスデバイスの巨大なスケールによって駆動される。
広範コンピューティングと人工知能の合流により、Pervasive AIはユビキタスIoTシステムの役割を拡大した。
論文 参考訳（メタデータ） (2021-05-04T23:42:06Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳（メタデータ） (2021-02-12T09:33:00Z) - Communication-Efficient Edge AI: Algorithms and Systems [39.28788394839187]
エッジデバイス(IoTデバイスなど)の大規模展開は、前例のない規模のデータを生成する。
このような巨大なデータはすべて、処理のためにエンドデバイスからクラウドに送信することはできない。
AIモデルの推論とトレーニングプロセスをエッジノードにプッシュすることで、エッジAIは有望な代替手段として浮上した。
論文 参考訳（メタデータ） (2020-02-22T09:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。