論文の概要: RMNet: Equivalently Removing Residual Connection from Networks
- arxiv url: http://arxiv.org/abs/2111.00687v1
- Date: Mon, 1 Nov 2021 04:07:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 14:34:45.143383
- Title: RMNet: Equivalently Removing Residual Connection from Networks
- Title（参考訳）: RMNet: ネットワークから残留接続をほぼ取り除く
- Authors: Fanxu Meng, Hao Cheng, Jiaxin Zhuang, Ke Li, Xing Sun
- Abstract要約: 本稿では,ResBlock上でのRM(Reserving and merging)操作により,バニラResNetの残コネクションを等価に除去することを提案する。
プラグイン方式として, RMオペレーションには, 1 つの利点がある: 1 つの実装により, 高比ネットワークプルーニングに自然に対応でき, 2) RepVGG の深さ制限を破り, 3) ResNet や RepVGG よりも精度の高いトレードオフネットワーク (RMNet) を実現する。
- 参考スコア（独自算出の注目度）: 15.32653042487324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although residual connection enables training very deep neural networks, it
is not friendly for online inference due to its multi-branch topology. This
encourages many researchers to work on designing DNNs without residual
connections at inference. For example, RepVGG re-parameterizes multi-branch
topology to a VGG-like (single-branch) model when deploying, showing great
performance when the network is relatively shallow. However, RepVGG can not
transform ResNet to VGG equivalently because re-parameterizing methods can only
be applied to linear blocks and the non-linear layers (ReLU) have to be put
outside of the residual connection which results in limited representation
ability, especially for deeper networks. In this paper, we aim to remedy this
problem and propose to remove the residual connection in a vanilla ResNet
equivalently by a reserving and merging (RM) operation on ResBlock.
Specifically, the RM operation allows input feature maps to pass through the
block while reserving their information and merges all the information at the
end of each block, which can remove residual connections without changing the
original output. As a plug-in method, RM Operation basically has three
advantages: 1) its implementation makes it naturally friendly for high ratio
network pruning. 2) it helps break the depth limitation of RepVGG. 3) it leads
to better accuracy-speed trade-off network (RMNet) compared to ResNet and
RepVGG. We believe the ideology of RM Operation can inspire many insights on
model design for the community in the future. Code is available at:
https://github.com/fxmeng/RMNet.
- Abstract（参考訳）: 残差接続は、非常に深いニューラルネットワークのトレーニングを可能にするが、マルチブランチトポロジーのため、オンライン推論には適さない。
これにより、多くの研究者が推論時の残差接続を伴わずにDNNの設計に取り組むことができる。
例えば、RepVGGはデプロイ時にマルチブランチトポロジをVGGライクな(シングルブランチ)モデルに再パラメータ化し、ネットワークが比較的浅い場合に優れたパフォーマンスを示す。
しかし、RepVGGはResNetをVGGに等価に変換することはできない。なぜなら再パラメータ化法は線形ブロックにのみ適用でき、非線形層(ReLU)は、特に深いネットワークにおいて限られた表現能力をもたらす残差接続の外に置く必要があるからである。
本稿では,この問題を解決し,resblock上でのrm(reserving and merge)操作により,バニラ網の残差接続を同値に除去することを提案する。
具体的には、RM操作により、入力特徴マップがブロックを通り抜けて情報を保存し、ブロックの最後に全ての情報をマージすることで、元の出力を変更することなく残余接続を除去することができる。
プラグインとしてrm操作は基本的に3つの利点がある。
1)その実装により、高比ネットワークプルーニングに自然に親しみやすい。
2) RepVGG の深さ制限を破るのに役立つ。
3) ResNet や RepVGG と比較して,RMNet の精度向上を実現している。
rmオペレーションのイデオロギーは、将来、コミュニティのモデル設計に関する多くの洞察を刺激できると信じています。
コードはhttps://github.com/fxmeng/rmnet。
関連論文リスト
- Securing Neural Networks with Knapsack Optimization [12.998637003026273]
本稿では,多くのコンピュータビジョンタスクのバックボーンとして機能するResNetsに焦点を当てる。
我々は、非線形コンポーネント、具体的にはReLUの数を減らすことを目指しています。
そこで我々は,Knapsack問題に対する新たな問題の削減を通じて,最適なパッチサイズを選択するアルゴリズムを考案した。
論文 参考訳（メタデータ） (2023-04-20T16:40:10Z) - Re^2TAL: Rewiring Pretrained Video Backbones for Reversible Temporal
Action Localization [65.33914980022303]
時間的行動ローカライゼーション(TAL)は、様々な期間と複雑な内容の行動を予測するために、長期的推論を必要とする。
ほとんどのメソッドは、ローカライズ問題に最適化することなく、事前抽出された機能のみをトレーニングできる。
本稿では,既存のビデオバックボーンを可逆性talにリワイヤリングする,新しいエンドツーエンド手法Re2TALを提案する。
論文 参考訳（メタデータ） (2022-11-25T12:17:30Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks [1.0814638303152528]
ディープニューラルネットワーク(DNN)は過度にパラメータ化されているため、最近の研究で、高い精度でサブネットワークを含むことが判明した。
本稿では,これらの研究の行を高度に圧縮されながら正確なモデルにブレンドすることを提案する:Hedden-Fold Networks (HFNs)。
CIFAR100のResNet50と同等の性能を実現し、メモリは38.5倍、ImageNetのResNet34は26.8倍小さい。
論文 参考訳（メタデータ） (2021-11-24T08:24:31Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳（メタデータ） (2021-10-18T06:14:28Z) - Invertible Residual Network with Regularization for Effective Medical
Image Segmentation [2.76240219662896]
バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。
可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。
この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
論文 参考訳（メタデータ） (2021-03-16T13:19:59Z) - RepVGG: Making VGG-style ConvNets Great Again [116.0327370719692]
本稿では,3x3畳み込みとReLUのスタックのみからなるVGGのような推論時間体を持つ,畳み込みニューラルネットワークの単純かつ強力なアーキテクチャを提案する。
RepVGGは、私たちの知識を最大限に活用するために、プレーンモデルにとって初めてである80%以上のトップ-1の精度に達します。
論文 参考訳（メタデータ） (2021-01-11T04:46:11Z) - Replay and Synthetic Speech Detection with Res2net Architecture [85.20912636149552]
既存のリプレイと合成音声検出のアプローチは、スプーフィング攻撃に対する一般化性に欠けていた。
本研究では、Res2Netと呼ばれる新しいモデル構造を活用して、アンチスプーフィング対策の一般化性を改善することを提案する。
論文 参考訳（メタデータ） (2020-10-28T14:33:42Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Pruning CNN's with linear filter ensembles [0.0]
ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。
本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。
我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
論文 参考訳（メタデータ） (2020-01-22T16:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。