論文の概要: Efficient Deep Learning Infrastructures for Embedded Computing Systems: A Comprehensive Survey and Future Envision

• arxiv url: http://arxiv.org/abs/2411.01431v1
• Date: Sun, 03 Nov 2024 03:55:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:18.873186
• Title: Efficient Deep Learning Infrastructures for Embedded Computing Systems: A Comprehensive Survey and Future Envision
• Title（参考訳）: 組み込みコンピューティングシステムのための効率的なディープラーニング基盤:包括的調査と今後の展望
• Authors: Xiangzhong Luo, Di Liu, Hao Kong, Shuo Huai, Hui Chen, Guochu Xiong, Weichen Liu,
• Abstract要約: 近年、ディープニューラルネットワーク(DNN)は、さまざまな現実世界のビジョンと言語処理タスクにおいて、目覚ましい成功を収めている。 これまでのよく確立されたDNNは、優れた精度を維持することができるにもかかわらず、より深く、より広いものへと進化してきた。 この調査は、組み込みコンピューティングシステムのための最近の効率的なディープラーニングインフラについて議論することに焦点を当てる。
• 参考スコア（独自算出の注目度）: 10.533474972061851
• License:
• Abstract: Deep neural networks (DNNs) have recently achieved impressive success across a wide range of real-world vision and language processing tasks, spanning from image classification to many other downstream vision tasks, such as object detection, tracking, and segmentation. However, previous well-established DNNs, despite being able to maintain superior accuracy, have also been evolving to be deeper and wider and thus inevitably necessitate prohibitive computational resources for both training and inference. This trend further enlarges the computational gap between computation-intensive DNNs and resource-constrained embedded computing systems, making it challenging to deploy powerful DNNs upon real-world embedded computing systems towards ubiquitous embedded intelligence. To alleviate the above computational gap and enable ubiquitous embedded intelligence, we, in this survey, focus on discussing recent efficient deep learning infrastructures for embedded computing systems, spanning from training to inference, from manual to automated, from convolutional neural networks to transformers, from transformers to vision transformers, from vision models to large language models, from software to hardware, and from algorithms to applications. Specifically, we discuss recent efficient deep learning infrastructures for embedded computing systems from the lens of (1) efficient manual network design for embedded computing systems, (2) efficient automated network design for embedded computing systems, (3) efficient network compression for embedded computing systems, (4) efficient on-device learning for embedded computing systems, (5) efficient large language models for embedded computing systems, (6) efficient deep learning software and hardware for embedded computing systems, and (7) efficient intelligent applications for embedded computing systems.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像分類からオブジェクト検出、トラッキング、セグメンテーションなど、他の多くの下流視覚タスクまで、さまざまな現実世界のビジョンと言語処理タスクで目覚ましい成功を収めた。 しかし、従来のよく確立されたDNNは、優れた精度を維持することができるにもかかわらず、より深く、より広くなり、必然的にトレーニングと推論の両方のために禁止的な計算資源を必要としている。 この傾向は、計算集約型DNNとリソース制約付き組み込みコンピューティングシステムの間の計算ギャップをさらに拡大し、現実世界の組み込みコンピューティングシステムに強力なDNNをユビキタスな組み込みインテリジェンスに展開することを困難にしている。 上記の計算ギャップを緩和し、ユビキタスな組み込みインテリジェンスを実現するため、本調査では、トレーニングから推論まで、手動から自動まで、畳み込みニューラルネットワークからトランスフォーマー、視覚モデルから大規模言語モデル、ソフトウェアからハードウェア、アルゴリズムからアプリケーションまで、トレーニングから推論まで、最近の効率的なディープラーニング基盤について議論する。 具体的には,(1)組み込みコンピューティングシステムのための効率的な手動ネットワーク設計,(2)組み込みコンピューティングシステムのための効率的なネットワーク設計,(3)組み込みコンピューティングシステムのための効率的なネットワーク圧縮,(4)組み込みコンピューティングシステムのための効率的なオンデバイス学習,(5)組み込みコンピューティングシステムのための効率的な大規模言語モデル,(6)組み込みコンピューティングシステムのための効率的なディープラーニングソフトウェアとハードウェア,(7)組み込みコンピューティングシステムのための効率的なインテリジェントアプリケーションについて論じる。

関連論文リスト

• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Efficient Machine Learning, Compilers, and Optimizations for Embedded Systems [21.098443474303462]
  Deep Neural Networks(DNN)は、高品質なコンピュータビジョン、自然言語処理、仮想現実アプリケーションを提供することによって、膨大な数の人工知能(AI)アプリケーションで大きな成功を収めている。 これらの新興AIアプリケーションは、計算とメモリ要求の増大も伴うため、特に限られた/メモリリソース、厳格な電力予算、小さなフォームファクタが要求される組み込みシステムでは、処理が困難である。 本章では,効率的なアルゴリズム,コンパイラ,組込みシステムに対するさまざまな最適化を実現するための,効率的な設計手法を紹介する。
  論文  参考訳（メタデータ） (2022-06-06T02:54:05Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Pervasive AI for IoT Applications: Resource-efficient Distributed Artificial Intelligence [45.076180487387575]
  人工知能(AI)は、さまざまなモノのインターネット(IoT)アプリケーションやサービスにおいて大きなブレークスルーを目の当たりにした。 これは、感覚データへの容易なアクセスと、リアルタイムデータストリームのゼッタバイト(ZB)を生成する広帯域/ユビキタスデバイスの巨大なスケールによって駆動される。 広範コンピューティングと人工知能の合流により、Pervasive AIはユビキタスIoTシステムの役割を拡大した。
  論文  参考訳（メタデータ） (2021-05-04T23:42:06Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Memristors -- from In-memory computing, Deep Learning Acceleration, Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired Computing [25.16076541420544]
  機械学習は、特にディープラーニングの形で、人工知能の最近の基本的な発展のほとんどを駆動している。 ディープラーニングは、オブジェクト/パターン認識、音声と自然言語処理、自動運転車、インテリジェントな自己診断ツール、自律ロボット、知識に富んだパーソナルアシスタント、監視といった分野に成功している。 本稿では、電力効率の高いインメモリコンピューティング、ディープラーニングアクセラレーター、スパイクニューラルネットワークの実装のための潜在的なソリューションとして、CMOSハードウェア技術、memristorsを超越した小説をレビューする。
  論文  参考訳（メタデータ） (2020-04-30T16:49:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
  本稿では,機械学習技術の現状について概説する。 私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。 我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
  論文  参考訳（メタデータ） (2020-01-07T14:17:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。