論文の概要: A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

• arxiv url: http://arxiv.org/abs/2306.15552v1
• Date: Tue, 27 Jun 2023 15:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 12:51:24.730259
• Title: A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms
• Title（参考訳）: 異種hpcプラットフォームのためのディープラーニングハードウェアアクセラレータに関する調査
• Authors: Cristina Silvano, Daniele Ielmini, Fabrizio Ferrandi, Leandro Fiorin, Serena Curzel, Luca Benini, Francesco Conti, Angelo Garofalo, Cristian Zambelli, Enrico Calore, Sebastiano Fabio Schifano, Maurizio Palesi, Giuseppe Ascia, Davide Patti, Stefania Perri, Nicola Petra, Davide De Caro, Luciano Lavagno, Teodoro Urso, Valeria Cardellini, Gian Carlo Cardarilli, Robert Birke
• Abstract要約: 近年のディープラーニングのトレンドは、ハードウェアアクセラレーターを高性能コンピューティングアプリケーションのいくつかのクラスでもっとも有効なソリューションとして課している。 本調査は,HPCアプリケーションの性能要件に適合するDLアクセラレータの設計における最新の進歩を要約し,分類する。 それは、GPUやTPUベースのアクセラレータだけでなく、設計固有のハードウェアアクセラレータも含む、ディープラーニングアクセラレーションをサポートするための最も高度なアプローチを強調している。
• 参考スコア（独自算出の注目度）: 12.646791558655181
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent trends in deep learning (DL) imposed hardware accelerators as the most viable solution for several classes of high-performance computing (HPC) applications such as image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent advances in designing DL accelerators suitable to reach the performance requirements of HPC applications. In particular, it highlights the most advanced approaches to support deep learning accelerations including not only GPU and TPU-based accelerators but also design-specific hardware accelerators such as FPGA-based and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators and co-processors. The survey also describes accelerators based on emerging memory technologies and computing paradigms, such as 3D-stacked Processor-In-Memory, non-volatile memories (mainly, Resistive RAM and Phase Change Memories) to implement in-memory computing, Neuromorphic Processing Units, and accelerators based on Multi-Chip Modules. The survey classifies the most influential architectures and technologies proposed in the last years, with the purpose of offering the reader a comprehensive perspective in the rapidly evolving field of deep learning. Finally, it provides some insights into future challenges in DL accelerators such as quantum accelerators and photonics.
• Abstract（参考訳）: 近年のディープラーニング(DL)は、画像分類、コンピュータビジョン、音声認識などの高性能コンピューティング(HPC)アプリケーションにおいて、ハードウェアアクセラレーターを最も有効なソリューションとして採用している。 本調査は,HPCアプリケーションの性能要件に適合するDLアクセラレータの設計における最新の進歩を要約し,分類する。 特に、GPUやTPUベースのアクセラレータだけでなく、FPGAベースのアクセラレータやASICベースのアクセラレータ、Neural Processing Units、オープンハードウェアRISC-Vベースのアクセラレータ、コプロセッサといった、設計固有のハードウェアアクセラレータを含む、ディープラーニングアクセラレーションをサポートする最も高度なアプローチを強調している。 この調査はまた、インメモリコンピューティング、ニューロモルフィック処理ユニット、マルチチップモジュールに基づくアクセラレータを実装するために、3dスタックプロセッサインメモリ、不揮発性メモリ(主に抵抗性ram、フェーズチェンジメモリ)などの新しいメモリ技術とコンピューティングパラダイムに基づくアクセラレータについても記述している。 この調査は、急速に進化するディープラーニングの分野において、読者に包括的な視点を提供する目的で、過去数年間で最も影響力のあるアーキテクチャとテクノロジを分類している。 最後に、量子加速器やフォトニクスのようなDL加速器の今後の課題についての洞察を提供する。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators [77.89070422157178]
  AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。 抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。 本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
  論文  参考訳（メタデータ） (2024-01-30T19:27:16Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• A Survey on Design Methodologies for Accelerating Deep Learning on Heterogeneous Architectures [9.982620766142345]
  効率的なハードウェアアクセラレーターの必要性は、ヘテロジニアスなHPCプラットフォームの設計にますます強くなっている。 ディープラーニングのためのアクセラレータを設計するために、いくつかの方法論とツールが提案されている。 この調査は、ディープラーニングアクセラレータを実装するために近年提案されている最も影響力のある設計方法論とEDAツールの総括的なレビューを提供する。
  論文  参考訳（メタデータ） (2023-11-29T17:10:16Z)
• Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs [14.397623940689487]
  Graphcore Intelligence Processing Unit (IPU)、Sambanova Reconfigurable Dataflow Unit (RDU)、拡張GPUプラットフォームについてレビューする。 この研究は、これらの商用AI/MLアクセラレータの予備評価と比較を提供する。
  論文  参考訳（メタデータ） (2023-11-08T01:06:25Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Resistive Neural Hardware Accelerators [0.46198289193451136]
  ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
  論文  参考訳（メタデータ） (2021-09-08T21:11:48Z)
• Survey of Machine Learning Accelerators [15.163544680926474]
  本稿では,昨年のIEEE-HPEC論文から,AIアクセラレータとプロセッサの調査を更新する。 本稿では,性能と消費電力の数値が公表されている現在のアクセラレータを整理し,要約する。
  論文  参考訳（メタデータ） (2020-09-01T01:28:59Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)
• Towards High Performance Java-based Deep Learning Frameworks [0.22940141855172028]
  現代のクラウドサービスは、高速で効率的なデータ処理の需要を定めている。 この需要は、ディープラーニング、データマイニング、コンピュータビジョンなど、多くのアプリケーション領域に共通している。 本稿では、JavaベースのディープラーニングフレームワークであるDeep Nettsを透過的に高速化する最先端のプログラミングフレームワークであるTornadoVMを採用しました。
  論文  参考訳（メタデータ） (2020-01-13T13:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。