論文の概要: Restructurable Activation Networks
- arxiv url: http://arxiv.org/abs/2208.08562v1
- Date: Wed, 17 Aug 2022 22:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 13:00:12.942389
- Title: Restructurable Activation Networks
- Title（参考訳）: 再構成可能なアクティベーションネットワーク
- Authors: Kartikeya Bhardwaj, James Ward, Caleb Tung, Dibakar Gope, Lingchuan
Meng, Igor Fedorov, Alex Chalfin, Paul Whatmough, Danny Loh
- Abstract要約: RAN(Restructurable Activation Networks)と呼ばれる新しいパラダイムを提案する。
RANは、ハードウェアの認識と効率を改善するために、モデルの非線形性の量を操作します。
我々のネットワークは、異なるスケールで、そして様々な種類のハードウェアに対して、ImageNetの最先端の結果を達成していることを示す。
- 参考スコア（独自算出の注目度）: 7.0475776623108874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is it possible to restructure the non-linear activation functions in a deep
network to create hardware-efficient models? To address this question, we
propose a new paradigm called Restructurable Activation Networks (RANs) that
manipulate the amount of non-linearity in models to improve their
hardware-awareness and efficiency. First, we propose RAN-explicit (RAN-e) -- a
new hardware-aware search space and a semi-automatic search algorithm -- to
replace inefficient blocks with hardware-aware blocks. Next, we propose a
training-free model scaling method called RAN-implicit (RAN-i) where we
theoretically prove the link between network topology and its expressivity in
terms of number of non-linear units. We demonstrate that our networks achieve
state-of-the-art results on ImageNet at different scales and for several types
of hardware. For example, compared to EfficientNet-Lite-B0, RAN-e achieves a
similar accuracy while improving Frames-Per-Second (FPS) by 1.5x on Arm
micro-NPUs. On the other hand, RAN-i demonstrates up to 2x reduction in #MACs
over ConvNexts with a similar or better accuracy. We also show that RAN-i
achieves nearly 40% higher FPS than ConvNext on Arm-based datacenter CPUs.
Finally, RAN-i based object detection networks achieve a similar or higher mAP
and up to 33% higher FPS on datacenter CPUs compared to ConvNext based models.
- Abstract（参考訳）: ディープネットワーク内の非線形活性化関数を再構成してハードウェア効率の良いモデルを作成することは可能か?
この問題に対処するために、ハードウェアの認識と効率を改善するために、モデル内の非線形性の量を操作できるRestructurable Activation Networks (RAN) という新しいパラダイムを提案する。
まず、新しいハードウェア対応検索空間と半自動検索アルゴリズムであるRAN-explicit(RAN-e)を提案し、非効率なブロックをハードウェア対応ブロックに置き換える。
次に, RAN-implicit (RAN-i) と呼ばれるトレーニング不要なモデルスケーリング手法を提案し, ネットワークトポロジと表現率の関係を非線形単位数で理論的に証明する。
ネットワークがimagenetの最先端の成果を様々なスケールとハードウェアで達成できることを実証する。
例えば、hivenet-lite-b0と比較して、ran-eはarm micro-npusのフレーム毎秒(fps)を1.5倍改善しながら、同様の精度を実現している。
一方、RAN-iは、同じまたはより良い精度で、ConvNexts上の#MACの最大2倍の減少を示す。
また、RAN-iはArmベースのデータセンターCPU上で、ConvNextよりも40%高いFPSを実現していることを示す。
最後に、RAN-iベースのオブジェクト検出ネットワークは、ConvNextベースのモデルと比較して、同じまたは高いmAPと最大33%高いFPSを達成する。
関連論文リスト
- Quantization of Deep Neural Networks to facilitate self-correction of
weights on Phase Change Memory-based analog hardware [0.0]
乗法重みの集合を近似するアルゴリズムを開発する。
これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。
その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:47:25Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Training Deep Boltzmann Networks with Sparse Ising Machines [5.048818298702389]
深層生成AIモデルをトレーニングすることにより,確率ビット(pビット)ベースのIsingマシンのための新しいアプリケーションドメインを示す。
スパース、非同期、および非常に並列なIsingマシンを使用して、ハイブリッド確率-古典計算設定でディープボルツマンネットワークを訓練する。
論文 参考訳（メタデータ） (2023-03-19T18:10:15Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - Sequential End-to-end Network for Efficient Person Search [7.3658840620058115]
人物検出と人物再識別(re-ID)を共同で解決することを目的とした人物探索
既存の研究は、Faster R-CNNに基づくエンドツーエンドネットワークを設計している。
優れた特徴を抽出するためのシーケンシャルエンドツーエンドネットワーク(SeqNet)を提案する。
論文 参考訳（メタデータ） (2021-03-18T10:28:24Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳（メタデータ） (2020-04-13T23:09:15Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。