論文の概要: NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions

• arxiv url: http://arxiv.org/abs/2403.00849v1
• Date: Thu, 29 Feb 2024 16:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:29:10.107451
• Title: NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions
• Title（参考訳）: NeuraLUT:ブール合成機能におけるニューラルネットワーク密度の維持
• Authors: Marta Andronic and George A. Constantinides
• Abstract要約: Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は、既知の遅延クリティカルタスク、ジェットサブストラクチャタグ、古典的コンピュータビジョンタスク、MNISTを用いた桁分類で検証する。
• 参考スコア（独自算出の注目度）: 3.1999570171901786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Field-Programmable Gate Array (FPGA) accelerators have proven successful in handling latency- and resource-critical deep neural network (DNN) inference tasks. Among the most computationally intensive operations in a neural network (NN) is the dot product between the feature and weight vectors. Thus, some previous FPGA acceleration works have proposed mapping neurons with quantized inputs and outputs directly to lookup tables (LUTs) for hardware implementation. In these works, the boundaries of the neurons coincide with the boundaries of the LUTs. We propose relaxing these boundaries and mapping entire sub-networks to a single LUT. As the sub-networks are absorbed within the LUT, the NN topology and precision within a partition do not affect the size of the lookup tables generated. Therefore, we utilize fully connected layers with floating-point precision inside each partition, which benefit from being universal function approximators, with rigid sparsity and quantization enforced only between partitions, where the NN topology becomes exposed to the circuit topology. Although cheap to implement, this approach can lead to very deep NNs, and so to tackle challenges like vanishing gradients, we also introduce skip connections inside the partitions. The resulting methodology can be seen as training DNNs with a specific sparsity pattern that allows them to be mapped to much shallower circuit-level networks, thereby significantly improving latency. We validate our proposed method on a known latency-critical task, jet substructure tagging, and on the classical computer vision task, the digit classification using MNIST. Our approach allows for greater function expressivity within the LUTs compared to existing work, leading to lower latency NNs for the same accuracy.
• Abstract（参考訳）: Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 ニューラルネットワーク(NN)における最も計算集約的な操作の1つは、特徴ベクトルと重みベクトルの間のドット積である。 このように、従来のFPGAアクセラレーションでは、ハードウェア実装のために量子化された入力と出力を直接ルックアップテーブル(LUT)にマッピングするニューロンが提案されていた。 これらの研究において、ニューロンの境界はLUTの境界と一致する。 我々は、これらの境界を緩和し、サブネットワーク全体を単一のlutにマッピングする。 サブネットワークがLUTに吸収されるため、パーティション内のNNトポロジと精度は、生成されたルックアップテーブルのサイズに影響を与えない。 そこで,回路トポロジにNNトポロジが露出するパーティション間のみに厳密な間隔と量子化を施したユニバーサル関数近似器の恩恵を受けるため,各パーティション内で浮動小数点精度を持つ完全連結層を利用する。 実装コストは安いが、このアプローチは非常に深いNNにつながる可能性があるため、グラデーションの廃止などの課題に対処するため、パーティション内のスキップ接続も導入する。 結果として得られた方法論は、より浅い回路レベルのネットワークにマッピングできる特定のスパーシティパターンでdnnをトレーニングすることで、レイテンシを大幅に改善することができる。 提案手法は,既知のレイテンシクリティカルタスクであるjetサブストラクチャータグと,従来のコンピュータビジョンタスクであるmnistを用いた桁分類について検証した。 提案手法により,既存の作業に比べてLUT内での関数表現性が向上し,同じ精度でNNのレイテンシが低下する。

関連論文リスト

• PolyLUT: Learning Piecewise Polynomials for Ultra-Low Latency FPGA LUT-based Inference [3.1999570171901786]
  ビルディングブロックを用いることで,線形関数よりもソフトロジックの層が少なく,同じ精度を実現できることを示す。 本手法の有効性を,ネットワーク侵入検出,CERN大型ハドロン衝突型加速器におけるジェット識別,MNISTデータセットを用いた手書き桁認識の3つのタスクで示す。
  論文  参考訳（メタデータ） (2023-09-05T15:54:09Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Logic Shrinkage: Learned FPGA Netlist Sparsity for Efficient Neural Network Inference [3.2296078260106174]
  本稿では,LUTに基づくトポロジの学習最適化を提案する。 既存のアーキテクチャの実装では、LUT, Kあたりの入力数を手動で指定する必要がある。 本稿では,FPGA推論を対象とするニューラルネットワークにおいて,各LUTに対してKを自動的に学習することのできる,詳細なネットリスト解析手法である論理縮小手法を提案する。
  論文  参考訳（メタデータ） (2021-12-04T14:23:24Z)
• NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function Combinational Logic [4.119948826527649]
  フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。 本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
  論文  参考訳（メタデータ） (2021-04-07T00:16:39Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• LogicNets: Co-Designed Neural Networks and Circuits for Extreme-Throughput Applications [6.9276012494882835]
  本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。 その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
  論文  参考訳（メタデータ） (2020-04-06T22:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。