論文の概要: Hardware-efficient Residual Networks for FPGAs

• arxiv url: http://arxiv.org/abs/2102.01351v1
• Date: Tue, 2 Feb 2021 06:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 16:23:05.444771
• Title: Hardware-efficient Residual Networks for FPGAs
• Title（参考訳）: fpga用ハードウェア効率残差ネットワーク
• Authors: Olivia Weng, Alireza Khodamoradi, Ryan Kastner
• Abstract要約: 残留ネットワーク(ResNets)は、トレーニング収束を改善するために、ネットワーク内のスキップ接続を使用する。 スキップ接続はResNetのハードウェア実装に課題をもたらす。 本稿では,ResNetのスキップ接続を段階的に除去する学習手法を提案する。
• 参考スコア（独自算出の注目度）: 2.025761610861237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual networks (ResNets) employ skip connections in their networks -- reusing activations from previous layers -- to improve training convergence, but these skip connections create challenges for hardware implementations of ResNets. The hardware must either wait for skip connections to be processed before processing more incoming data or buffer them elsewhere. Without skip connections, ResNets would be more hardware-efficient. Thus, we present the teacher-student learning method to gradually prune away all of a ResNet's skip connections, constructing a network we call NonResNet. We show that when implemented for FPGAs, NonResNet decreases ResNet's BRAM utilization by 9% and LUT utilization by 3% and increases throughput by 5%.
• Abstract（参考訳）: 残差ネットワーク(resnets)は、トレーニング収束を改善するために、ネットワーク内のスキップ接続(以前のレイヤからのアクティベーションを再利用する)を採用するが、これらのスキップ接続は、resnetのハードウェア実装の課題を生じさせる。 ハードウェアは、より多くの受信データを処理する前に、スキップ接続が処理されるのを待たなければならない。 接続をスキップしなければ、ResNetsはよりハードウェア効率が良い。 そこで本研究では,NonResNetと呼ばれるネットワークを構築して,ResNetのスキップ接続を段階的に除去する学習手法を提案する。 FPGAで実装すると、NonResNetはResNetのBRAM利用率を9%、LUT利用率を3%、スループットを5%向上させることが示されています。

関連論文リスト

• Tailor: Altering Skip Connections for Resource-Efficient Inference [15.72369066115206]
  ハードウェア・ソフトウェア・コードサイン・アプローチに取り組み、スキップ接続をハードウェアに最適化できることが示される。 ハードウェアを意識したトレーニングアルゴリズムが、ハードウェアコストを削減するために、完全にトレーニングされたネットワークのスキップ接続を徐々に削除または短縮するコードサインツールであるTailorを紹介した。
  論文  参考訳（メタデータ） (2023-01-18T01:19:36Z)
• A Cross-Residual Learning for Image Recognition [4.543455110336685]
  本稿では、C-ResNetと呼ばれるクロスレジデンシャル学習ネットワークの一種であるResNetの別の変種について述べる。 C-ResNetsはジャンパーを密度化することでモジュール間の情報インタラクションを高め、ジャンパーの役割を強化する。 微調整されたResNetと比較して、C-ResNetsは分類性能を維持するだけでなく、計算量やパラメータを大幅に削減する。
  論文  参考訳（メタデータ） (2022-11-22T15:12:55Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
  本稿では、それらを解析するために高密度和の統一的な視点を示す。 本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。 提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
  論文  参考訳（メタデータ） (2020-10-23T16:00:15Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets [83.12737997548645]
  スキップ接続は、現在最先端のディープニューラルネットワーク(DNN)の重要な構成要素である スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。 我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)を含む最先端DNNに対する包括的な転送攻撃を行う。
  論文  参考訳（メタデータ） (2020-02-14T12:09:21Z)
• Quantisation and Pruning for Neural Network Compression and Regularisation [2.320417845168326]
  ディープニューラルネットワークは計算コストが大きすぎて、コンシューマグレードのハードウェアや低消費電力のデバイス上でリアルタイムで動作できない。 ニューラルネットワークの計算とメモリ要件の低減を,ネットワークプルーニングと量子化によって検討する。
  論文  参考訳（メタデータ） (2020-01-14T15:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。