論文の概要: ED-Batch: Efficient Automatic Batching of Dynamic Neural Networks via Learned Finite State Machines

• arxiv url: http://arxiv.org/abs/2302.03851v1
• Date: Wed, 8 Feb 2023 02:56:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 17:35:10.312104
• Title: ED-Batch: Efficient Automatic Batching of Dynamic Neural Networks via Learned Finite State Machines
• Title（参考訳）: ed-batch: 学習有限状態マシンによる動的ニューラルネットワークの自動バッチ化
• Authors: Siyuan Chen, Pratik Fegade, Tianqi Chen, Phillip B. Gibbons, Todd C. Mowry
• Abstract要約: 本稿では,有限状態マシンに基づく動的DNNに対するアプローチを提案する。 学習を通じて各マシンの特殊ポリシーの自動発見を可能にする。 その結果,チェーンベース,ツリーベース,格子ベースのGPUおよびGPUでは,最先端のフレームワークを平均1.15倍,1.39倍,2.45倍スピードアップすることがわかった。
• 参考スコア（独自算出の注目度）: 14.949571390221726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batching has a fundamental influence on the efficiency of deep neural network (DNN) execution. However, for dynamic DNNs, efficient batching is particularly challenging as the dataflow graph varies per input instance. As a result, state-of-the-art frameworks use heuristics that result in suboptimal batching decisions. Further, batching puts strict restrictions on memory adjacency and can lead to high data movement costs. In this paper, we provide an approach for batching dynamic DNNs based on finite state machines, which enables the automatic discovery of batching policies specialized for each DNN via reinforcement learning. Moreover, we find that memory planning that is aware of the batching policy can save significant data movement overheads, which is automated by a PQ tree-based algorithm we introduce. Experimental results show that our framework speeds up state-of-the-art frameworks by on average 1.15x, 1.39x, and 2.45x for chain-based, tree-based, and lattice-based DNNs across CPU and GPU.
• Abstract（参考訳）: バッチはディープニューラルネットワーク(DNN)の実行効率に根本的な影響を与える。 しかし、動的DNNでは、データフローグラフが入力インスタンスごとに変化するため、効率的なバッチ処理が特に難しい。 その結果、最先端のフレームワークはヒューリスティックを使用し、最適以下のバッチ決定をもたらす。 さらに、バッチ処理はメモリ隣接性を厳しく制限し、高いデータ移動コストにつながる可能性がある。 本稿では,有限状態マシンに基づいて動的dnnをバッチ化する手法を提案し,強化学習によって各dnnに特化したバッチポリシーを自動的に発見する手法を提案する。 さらに,バッチ方式を意識したメモリプランニングは,PQ木に基づくアルゴリズムによって自動化され,データ移動のオーバーヘッドを大幅に削減できることがわかった。 実験の結果,我々のフレームワークは,チェーンベース,ツリーベース,格子ベースDNNにおいて,CPUおよびGPU間で平均1.15倍,1.39倍,2.45倍の最先端フレームワークを高速化することがわかった。

関連論文リスト

• Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
  Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。 GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。 CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
  論文  参考訳（メタデータ） (2023-08-12T14:42:02Z)
• Input-Aware Dynamic Timestep Spiking Neural Networks for Efficient In-Memory Computing [7.738130109655604]
  Spiking Neural Networks (SNN) はスパースとバイナリスパイク情報を処理できることから、広く研究の関心を集めている。 IMCハードウェアで使用される時間ステップの数に応じて,SNNのエネルギーコストとレイテンシが線形にスケールすることを示す。 入力対応動的時間ステップSNN(DT-SNN)を提案し,SNNの効率を最大化する。
  論文  参考訳（メタデータ） (2023-05-27T03:01:27Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Robust Graph Neural Networks via Probabilistic Lipschitz Constraints [7.359962178534361]
  グラフニューラルネットワーク(GNN)は、最近、さまざまなネットワークベースのタスクでうまく機能することが実証されている。 GNNは入力のシフトや摂動の影響を受けやすく、ノード属性とグラフ構造の両方を含むことができる。
  論文  参考訳（メタデータ） (2021-12-14T17:33:32Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
  スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。 しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。 CIF依存型バッチ正規化法(tpladBN)を提案する。
  論文  参考訳（メタデータ） (2020-10-29T07:15:52Z)
• Efficient Computation Reduction in Bayesian Neural Networks Through Feature Decomposition and Memorization [10.182119276564643]
  本稿では,計算コストを削減するため,効率的なBNN推論フローを提案する。 計算の約半分は従来の手法と比べて取り除くことができる。 We implement our approach in Verilog and synthesise it with 45 $nm$ FreePDK technology。
  論文  参考訳（メタデータ） (2020-05-08T05:03:04Z)
• BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method [69.49386965992464]
  本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。 我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。 リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-01-23T03:30:56Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。