論文の概要: Tricking AI chips into Simulating the Human Brain: A Detailed Performance Analysis

• arxiv url: http://arxiv.org/abs/2301.13637v1
• Date: Tue, 31 Jan 2023 13:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 16:30:27.081445
• Title: Tricking AI chips into Simulating the Human Brain: A Detailed Performance Analysis
• Title（参考訳）: AIチップを人間の脳をシミュレートする:詳細なパフォーマンス分析
• Authors: Lennart P. L. Landsmeer, Max C. W. Engelen, Rene Miedema and Christos Strydis
• Abstract要約: 脳シミュレーションでは、複数の最先端AIチップ(Graphcore IPU、GroqChip、劣悪なCoreを持つNvidia GPU、Google TPU)を評価した。 性能解析の結果,シミュレーション問題はGPUとTPUアーキテクチャに極めてよく対応していることがわかった。 GroqChipは、小さなネットワークにおいて両方のプラットフォームより優れているが、精度の低い浮動小数点演算を実装しているため、脳シミュレーションではまだ利用できない。
• 参考スコア（独自算出の注目度）: 0.5354801701968198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Challenging the Nvidia monopoly, dedicated AI-accelerator chips have begun emerging for tackling the computational challenge that the inference and, especially, the training of modern deep neural networks (DNNs) poses to modern computers. The field has been ridden with studies assessing the performance of these contestants across various DNN model types. However, AI-experts are aware of the limitations of current DNNs and have been working towards the fourth AI wave which will, arguably, rely on more biologically inspired models, predominantly on spiking neural networks (SNNs). At the same time, GPUs have been heavily used for simulating such models in the field of computational neuroscience, yet AI-chips have not been tested on such workloads. The current paper aims at filling this important gap by evaluating multiple, cutting-edge AI-chips (Graphcore IPU, GroqChip, Nvidia GPU with Tensor Cores and Google TPU) on simulating a highly biologically detailed model of a brain region, the inferior olive (IO). This IO application stress-tests the different AI-platforms for highlighting architectural tradeoffs by varying its compute density, memory requirements and floating-point numerical accuracy. Our performance analysis reveals that the simulation problem maps extremely well onto the GPU and TPU architectures, which for networks of 125,000 cells leads to a 28x respectively 1,208x speedup over CPU runtimes. At this speed, the TPU sets a new record for largest real-time IO simulation. The GroqChip outperforms both platforms for small networks but, due to implementing some floating-point operations at reduced accuracy, is found not yet usable for brain simulation.
• Abstract（参考訳）: Nvidiaの独占に則って、AIアクセラレータ専用チップは、推論、特に現代のディープニューラルネットワーク(DNN)のトレーニングが現代のコンピュータにもたらす計算課題に対処するために登場し始めている。 この分野では、様々なDNNモデルタイプでこれらの競技者のパフォーマンスを評価する研究が進められている。 しかし、AI専門家は現在のDNNの限界を認識しており、スパイクニューラルネットワーク(SNN)を中心に、より生物学的にインスパイアされたモデルに依存する第4のAI波に向けて取り組んできた。 同時に、GPUは計算神経科学の分野でそのようなモデルをシミュレーションするのに多用されているが、AIチップはそのようなワークロードでテストされていない。 この重要なギャップを埋めることを目的として,複数の最先端AIチップ(Graphcore IPU,GroqChip,Tensor CoresによるNvidia GPU,Google TPU)を評価し,脳領域の生物学的に詳細なモデルである下オリーブ(IO)をシミュレートした。 このIOアプリケーションは、計算密度、メモリ要件、浮動小数点数値の精度を変化させることで、アーキテクチャ上のトレードオフを強調するために、さまざまなAIプラットフォームをストレステストする。 性能解析の結果、シミュレーション問題はGPUとTPUアーキテクチャに極めてよく対応しており、125,000セルのネットワークでは、それぞれ1,208倍の高速化を実現していることがわかった。 この速度で、tpuは最大のリアルタイムioシミュレーションの新しい記録を設定する。 GroqChipは、小さなネットワークにおいて両方のプラットフォームより優れているが、精度の低い浮動小数点演算を実装しているため、脳シミュレーションではまだ利用できない。

関連論文リスト

• Training of Physical Neural Networks [16.832505972118646]
  物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
  論文  参考訳（メタデータ） (2024-06-05T15:28:04Z)
• Fast Algorithms for Spiking Neural Network Simulation with FPGAs [0.0]
  我々は、ハイエンドフィールドプログラマブルゲートアレイ(FPGA)のためのPotjans-Diesmann大脳皮質微小回路のためのスパイキングニューラルネットワークシミュレータ(SNN)を作成する。 我々の最高のシミュレーターは、回路をリアルタイムよりも25%高速にシミュレートし、シナプスイベントあたり21nJ未満が必要であり、オンチップメモリによってボトルネックされる。 この結果は、単一のハードウェアアクセラレータ上で回路をシミュレートする最初のものである。
  論文  参考訳（メタデータ） (2024-05-03T11:39:25Z)
• Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks [0.08965418284317034]
  Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T09:46:44Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Benchmarking GPU and TPU Performance with Graph Neural Networks [0.0]
  この研究は、現実のパターン認識問題を解決するために開発されたグラフニューラルネットワーク(GNN)を用いてGPUとTPUのパフォーマンストレーニングを分析し、比較する。 スパースデータに作用する新しいモデルのクラスを特徴付けることは、ディープラーニングライブラリや将来のAIアクセラレータの設計を最適化するのに有効である。
  論文  参考訳（メタデータ） (2022-10-21T21:03:40Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。