論文の概要: A Survey on Design Methodologies for Accelerating Deep Learning on Heterogeneous Architectures

• arxiv url: http://arxiv.org/abs/2311.17815v1
• Date: Wed, 29 Nov 2023 17:10:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:34:07.470124
• Title: A Survey on Design Methodologies for Accelerating Deep Learning on Heterogeneous Architectures
• Title（参考訳）: 異種アーキテクチャにおけるディープラーニングの高速化のための設計方法論に関する研究
• Authors: Fabrizio Ferrandi, Serena Curzel, Leandro Fiorin, Daniele Ielmini, Cristina Silvano, Francesco Conti, Alessio Burrello, Francesco Barchi, Luca Benini, Luciano Lavagno, Teodoro Urso, Enrico Calore, Sebastiano Fabio Schifano, Cristian Zambelli, Maurizio Palesi, Giuseppe Ascia, Enrico Russo, Nicola Petra, Davide De Caro, Gennaro Di Meo, Valeria Cardellini, Salvatore Filippone, Francesco Lo Presti, Francesco Silvestri, Paolo Palazzari and Stefania Perri
• Abstract要約: 効率的なハードウェアアクセラレーターの必要性は、ヘテロジニアスなHPCプラットフォームの設計にますます強くなっている。 ディープラーニングのためのアクセラレータを設計するために、いくつかの方法論とツールが提案されている。 この調査は、ディープラーニングアクセラレータを実装するために近年提案されている最も影響力のある設計方法論とEDAツールの総括的なレビューを提供する。
• 参考スコア（独自算出の注目度）: 9.982620766142345
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, the field of Deep Learning has seen many disruptive and impactful advancements. Given the increasing complexity of deep neural networks, the need for efficient hardware accelerators has become more and more pressing to design heterogeneous HPC platforms. The design of Deep Learning accelerators requires a multidisciplinary approach, combining expertise from several areas, spanning from computer architecture to approximate computing, computational models, and machine learning algorithms. Several methodologies and tools have been proposed to design accelerators for Deep Learning, including hardware-software co-design approaches, high-level synthesis methods, specific customized compilers, and methodologies for design space exploration, modeling, and simulation. These methodologies aim to maximize the exploitable parallelism and minimize data movement to achieve high performance and energy efficiency. This survey provides a holistic review of the most influential design methodologies and EDA tools proposed in recent years to implement Deep Learning accelerators, offering the reader a wide perspective in this rapidly evolving field. In particular, this work complements the previous survey proposed by the same authors in [203], which focuses on Deep Learning hardware accelerators for heterogeneous HPC platforms.
• Abstract（参考訳）: 近年、Deep Learningの分野は多くの破壊的で影響力のある進歩が見られる。 ディープニューラルネットワークの複雑さが増大する中、効率的なハードウェアアクセラレーターの必要性がますます強まり、異種HPCプラットフォームを設計するようになった。 ディープラーニングアクセラレータの設計には、コンピュータアーキテクチャから近似計算、計算モデル、機械学習アルゴリズムまで、いくつかの分野の専門知識を組み合わせた、多分野のアプローチが必要である。 ハードウェアソフトウェアの共同設計アプローチ、ハイレベルな合成手法、特定のカスタマイズされたコンパイラ、設計空間の探索、モデリング、シミュレーションのための方法論など、ディープラーニングのためのアクセラレータを設計するための方法論やツールが提案されている。 これらの手法は、利用可能な並列性を最大化し、データ移動を最小化し、高い性能とエネルギー効率を達成することを目的としている。 この調査は、ディープラーニングアクセラレータを実装するために近年提案された最も影響力のある設計方法論とedaツールの全体的レビューを提供し、この急速に発展する分野において、読者に幅広い視点を提供する。 特に、この研究は、異種HPCプラットフォーム向けのDeep Learningハードウェアアクセラレータに焦点を当てた[203]で、同じ著者が提案した以前の調査を補完するものだ。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Design Space Exploration of Approximate Computing Techniques with a Reinforcement Learning Approach [49.42371633618761]
  精度劣化と消費電力と計算時間短縮のバランスをとるアプリケーションの近似バージョンを見つけるためのRLベースの戦略を提案する。 実験結果から,いくつかのベンチマークにおいて,精度劣化と消費電力減少と計算時間との良好なトレードオフが示された。
  論文  参考訳（メタデータ） (2023-12-29T09:10:40Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Approximate Computing Survey, Part II: Application-Specific & Architectural Approximation Techniques and Applications [14.450131342802631]
  近似コンピューティングは、エネルギー効率と/または性能を改善するために、システムの設計における結果の質を調整できる。 この急進的なパラダイムシフトは、学界と産業の両方から関心を集めている。 重要な側面(例えば、用語と応用)をカバーし、最先端の近似技術についてレビューする。
  論文  参考訳（メタデータ） (2023-07-20T15:54:33Z)
• A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms [9.036774656254375]
  この調査は、ディープラーニングアクセラレータの設計における最新の進歩を要約し、分類する。 それは、GPUやTPUベースのアクセラレータだけでなく、設計固有のハードウェアアクセラレータも含む、ディープラーニングアクセラレーションをサポートするための最も高度なアプローチを強調している。 この調査では、新たなメモリ技術とコンピューティングパラダイムに基づいたアクセラレータについても説明している。
  論文  参考訳（メタデータ） (2023-06-27T15:24:24Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• Hybrid Supervised and Reinforcement Learning for the Design and Optimization of Nanophotonic Structures [8.677532138573984]
  本稿では,ナノフォトニック構造の逆設計に対するハイブリッド・教師付き・強化学習手法を提案する。 提案手法は,訓練データの依存度を低減し,モデル予測の一般化性を向上させるとともに,探索訓練時間を桁違いに短縮できることを示す。
  論文  参考訳（メタデータ） (2022-09-08T22:43:40Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• Integrating Deep Learning in Domain Sciences at Exascale [2.241545093375334]
  我々は,大規模HPCシステム上でディープラーニングモデルとアプリケーションを効率的に動作させるための既存パッケージの評価を行った。 本稿では,現在の大規模異種システムに対する新しい非同期並列化と最適化手法を提案する。 従来の計算集約型アプリケーションとデータ集約型アプリケーションをAIで拡張するための図表と潜在的なソリューションを提案する。
  論文  参考訳（メタデータ） (2020-11-23T03:09:58Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)
• Deep Learning and Knowledge-Based Methods for Computer Aided Molecular Design -- Toward a Unified Approach: State-of-the-Art and Future Directions [0.0]
  分子レベルでの操作特性による化合物の最適設計は、しばしば科学的な進歩とプロセスシステムの性能向上の鍵となる。 本稿では,コンピュータ支援分子設計の課題と課題について述べる。
  論文  参考訳（メタデータ） (2020-05-18T14:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。