論文の概要: StreamBrain: An HPC Framework for Brain-like Neural Networks on CPUs, GPUs and FPGAs

• arxiv url: http://arxiv.org/abs/2106.05373v1
• Date: Wed, 9 Jun 2021 20:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:03:22.773830
• Title: StreamBrain: An HPC Framework for Brain-like Neural Networks on CPUs, GPUs and FPGAs
• Title（参考訳）: StreamBrain: CPU、GPU、FPGA上の脳のようなニューラルネットワークのためのHPCフレームワーク
• Authors: Artur Podobas, Martin Svedin, Steven W. D. Chien, Ivy B. Peng, Naresh Balaji Ravichandran, Pawel Herman, Anders Lansner, Stefano Markidis
• Abstract要約: StreamBrainは、BCPNNに基づくニューラルネットワークを、高性能コンピューティングシステムに実践的にデプロイすることを可能にするフレームワークである。 StreamBrainがよく知られたMLベンチマークデータセットMNISTを数秒でトレーニングできることを実証的に実証した。 我々は,STL-10 サイズネットワーク上で BCPNN を初めて実演した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The modern deep learning method based on backpropagation has surged in popularity and has been used in multiple domains and application areas. At the same time, there are other -- less-known -- machine learning algorithms with a mature and solid theoretical foundation whose performance remains unexplored. One such example is the brain-like Bayesian Confidence Propagation Neural Network (BCPNN). In this paper, we introduce StreamBrain -- a framework that allows neural networks based on BCPNN to be practically deployed in High-Performance Computing systems. StreamBrain is a domain-specific language (DSL), similar in concept to existing machine learning (ML) frameworks, and supports backends for CPUs, GPUs, and even FPGAs. We empirically demonstrate that StreamBrain can train the well-known ML benchmark dataset MNIST within seconds, and we are the first to demonstrate BCPNN on STL-10 size networks. We also show how StreamBrain can be used to train with custom floating-point formats and illustrate the impact of using different bfloat variations on BCPNN using FPGAs.
• Abstract（参考訳）: バックプロパゲーションに基づく現代のディープラーニング手法は、人気が高まり、複数のドメインやアプリケーション領域で使われている。 同時に、成熟した堅固な理論基盤を持つ他の(あまり知られていない)機械学習アルゴリズムもある。 そのような例としては、bcpnn(brain-like bayesian confidence propagation neural network)がある。 本稿では,BCPNNをベースとしたニューラルネットワークを,高性能コンピューティングシステムに実用化可能なフレームワークであるStreamBrainを紹介する。 StreamBrainはドメイン固有言語(DSL)であり、既存の機械学習(ML)フレームワークと同様のコンセプトで、CPU、GPU、FPGAのバックエンドをサポートする。 我々は、StreamBrainがよく知られたMLベンチマークデータセットMNISTを数秒でトレーニングできることを実証的に実証し、STL-10サイズネットワーク上でBCPNNを初めて実演した。 また,カスタム浮動小数点フォーマットでstreambrainをトレーニングする方法を示し,fpgaを用いたbcpnnにおけるbfloatのバリエーションの違いが与える影響について述べる。

関連論文リスト

• LookupFFN: Making Transformers Compute-lite for CPU inference [23.61144705380663]
  GPUクラスタは現在、大規模なディープニューラルネットワーク(DNN)モデルをトレーニングするための事実上の選択肢です。 ワークフローの容易さ、セキュリティ、コストなど、いくつかの理由から、CPUが業界の多くの分野において、定期的な使用における推論に有効かどうかの調査が進められている。 本稿では,GEMMをベースとしたFeed Forward Networks (FFNs) という,現代的なアーキテクチャにおけるワークホースであるモジュールについて検討し,計算的(FLOP-)な表現の程度を評価する。
  論文  参考訳（メタデータ） (2024-03-12T00:26:16Z)
• Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
  本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。 本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。 我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
  論文  参考訳（メタデータ） (2022-10-02T01:54:40Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors [0.0]
  ディープニューラルネットワーク(dnn)は、複雑なタスクを解決可能にするために、多くのパラメータを考慮に入れることができるという利点がある。 コンピュータビジョンや音声認識では、一般的なアルゴリズムよりも精度が高く、タスクによっては人間の専門家よりも精度が高いものもあります。 近年のDNNの進展に伴い、疾患の診断や自動運転など、多くの応用分野が活用されています。
  論文  参考訳（メタデータ） (2021-04-19T12:50:27Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Overview of FPGA deep learning acceleration based on convolutional neural network [0.76146285961466]
  近年、ディープラーニングはますます成熟し、ディープラーニングの一般的なアルゴリズムとして、畳み込みニューラルネットワークは様々な視覚的タスクで広く使用されています。 本稿は,畳み込みの関連理論とアルゴリズムを主に紹介するレビュー記事である。 畳み込みニューラルネットワークに基づく既存のFPGA技術の応用シナリオをまとめ、主にアクセラレータの応用について紹介します。
  論文  参考訳（メタデータ） (2020-12-23T12:44:24Z)
• Compiling ONNX Neural Network Models Using MLIR [51.903932262028235]
  本稿では,深層ニューラルネットワークモデルの推論のためのコードを生成するonnx-mlirコンパイラについて予備報告を行う。 Onnx-mlirは、最近LLVMプロジェクトに統合されたMulti-Level Intermediate Representation (MLIR)インフラストラクチャに依存している。
  論文  参考訳（メタデータ） (2020-08-19T05:28:08Z)
• Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
  我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。 我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
  論文  参考訳（メタデータ） (2020-04-10T14:26:00Z)
• The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding [97.85957811603251]
  MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
  論文  参考訳（メタデータ） (2020-02-19T03:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。