論文の概要: Add a SideNet to your MainNet
- arxiv url: http://arxiv.org/abs/2007.13512v1
- Date: Tue, 14 Jul 2020 19:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 13:57:26.408436
- Title: Add a SideNet to your MainNet
- Title（参考訳）: MainNetにSideNetを追加する
- Authors: Adrien Morisot
- Abstract要約: そこで我々は、SideNetと呼ぶ小さな分類層をMainNetと呼ぶ大規模な事前学習ネットワークにアタッチすることで、適応的なネットワーク複雑性を実現する手法を開発した。
入力が与えられた場合、SideNetは、その信頼性レベルがユーザ決定しきい値を超え、信頼度が低すぎる場合にのみ大きなMainNetに渡す。
実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the performance and popularity of deep neural networks has increased, so
too has their computational cost. There are many effective techniques for
reducing a network's computational footprint (quantisation, pruning, knowledge
distillation), but these lead to models whose computational cost is the same
regardless of their input. Our human reaction times vary with the complexity of
the tasks we perform: easier tasks (e.g. telling apart dogs from boat) are
executed much faster than harder ones (e.g. telling apart two similar looking
breeds of dogs). Driven by this observation, we develop a method for adaptive
network complexity by attaching a small classification layer, which we call
SideNet, to a large pretrained network, which we call MainNet. Given an input,
the SideNet returns a classification if its confidence level, obtained via
softmax, surpasses a user determined threshold, and only passes it along to the
large MainNet for further processing if its confidence is too low. This allows
us to flexibly trade off the network's performance with its computational cost.
Experimental results show that simple single hidden layer perceptron SideNets
added onto pretrained ResNet and BERT MainNets allow for substantial decreases
in compute with minimal drops in performance on image and text classification
tasks. We also highlight three other desirable properties of our method, namely
that the classifications obtained by SideNets are calibrated, complementary to
other compute reduction techniques, and that they enable the easy exploration
of compute accuracy space.
- Abstract（参考訳）: ディープニューラルネットワークの性能と人気が高まるにつれて、計算コストも増大している。
ネットワークの計算フットプリント(量子化、プルーニング、知識蒸留)を減らすための効果的な技術は数多く存在するが、これらは入力に関係なく計算コストが同じであるモデルにつながる。
私たちの人間の反応時間は、我々が実行するタスクの複雑さによって異なります。 より簡単なタスク(例えば、ボートから犬を区別する)は、より難しいタスクよりもずっと高速に実行される(例えば、類似した2種類の犬種を区別する)。
そこで本研究では,我々がsidenetと呼ぶ小さな分類層をmainnetと呼ぶ大規模事前学習済みネットワークにアタッチすることで,適応的ネットワーク複雑化の手法を開発した。
入力が与えられると、サイドネットは、softmaxによって得られた信頼度レベルがユーザ決定しきい値を超えている場合に分類を返し、信頼度が低すぎる場合は、大きなメインネットに渡すだけである。
これにより、ネットワークのパフォーマンスを計算コストで柔軟にトレードオフすることができます。
実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
また,サイドネットによって得られる分類を校正し,他の計算量削減手法を補完し,計算精度空間の探索を容易にすること,という3つの望ましい特徴を強調する。
関連論文リスト
- A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2021-05-29T04:02:51Z) - Greedy Optimization Provably Wins the Lottery: Logarithmic Number of
Winning Tickets is Enough [19.19644194006565]
精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。
提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。
本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
論文 参考訳（メタデータ） (2020-10-29T22:06:31Z) - Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。
本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
論文 参考訳（メタデータ） (2020-10-28T08:49:45Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Energy-efficient and Robust Cumulative Training with Net2Net
Transformation [2.4283778735260686]
本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。
まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。
実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
論文 参考訳（メタデータ） (2020-03-02T21:44:47Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。