論文の概要: Ex uno plures: Splitting One Model into an Ensemble of Subnetworks
- arxiv url: http://arxiv.org/abs/2106.04767v1
- Date: Wed, 9 Jun 2021 01:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:21:07.373762
- Title: Ex uno plures: Splitting One Model into an Ensemble of Subnetworks
- Title(参考訳): ex uno plures: 1つのモデルをサブネットワークのアンサンブルに分割する
- Authors: Zhilu Zhang, Vianne R. Gao, Mert R. Sabuncu
- Abstract要約: そこで本研究では,プレニング戦略によって計算され,独立に訓練された非重なり合っていないドロップアウトマスクに対応する,作業のアンサンブルを計算する戦略を提案する。
提案手法は,精度と不確実性の両方において,標準的なディープアンサンブルと同等に動作可能であることを示す。
我々は、ニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも、サブネットワークのアンサンブルが一貫して優れていることを実験的に実証した。
- 参考スコア(独自算出の注目度): 18.814965334083425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monte Carlo (MC) dropout is a simple and efficient ensembling method that can
improve the accuracy and confidence calibration of high-capacity deep neural
network models. However, MC dropout is not as effective as more
compute-intensive methods such as deep ensembles. This performance gap can be
attributed to the relatively poor quality of individual models in the MC
dropout ensemble and their lack of diversity. These issues can in turn be
traced back to the coupled training and substantial parameter sharing of the
dropout models. Motivated by this perspective, we propose a strategy to compute
an ensemble of subnetworks, each corresponding to a non-overlapping dropout
mask computed via a pruning strategy and trained independently. We show that
the proposed subnetwork ensembling method can perform as well as standard deep
ensembles in both accuracy and uncertainty estimates, yet with a computational
efficiency similar to MC dropout. Lastly, using several computer vision
datasets like CIFAR10/100, CUB200, and Tiny-Imagenet, we experimentally
demonstrate that subnetwork ensembling also consistently outperforms recently
proposed approaches that efficiently ensemble neural networks.
- Abstract(参考訳): モンテカルロ(MC)ドロップアウトは、高容量深層ニューラルネットワークモデルの精度と信頼性校正を改善するための、シンプルで効率的なアンサンブル手法である。
しかし、MCドロップアウトはディープアンサンブルのようなより計算集約的な手法ほど効果的ではない。
この性能ギャップは、MCドロップアウトアンサンブルにおける個々のモデルの比較的低い品質と多様性の欠如に起因する。
これらの問題は、結合トレーニングやドロップアウトモデルの実質的なパラメータ共有にまで遡ることができる。
この観点から,我々はサブネットワークのアンサンブルを計算するための戦略を提案し,それぞれがプルーニング戦略を用いて計算され,独立に訓練された非重複ドロップアウトマスクに対応する。
提案手法は,mcドロップアウトに類似した計算効率を持ちながら,精度と不確実性の両方において,標準ディープアンサンブルと同等の性能を発揮することを示す。
最後に、CIFAR10/100、CUB200、Tiny-Imagenetなどのコンピュータビジョンデータセットを用いて、サブネットワークのアンサンブルがニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも一貫して優れていることを実験的に示す。
関連論文リスト
- Pushing Boundaries: Mixup's Influence on Neural Collapse [3.6919724596215615]
Mixupは、深層ニューラルネットワークの堅牢性とキャリブレーションを強化するために、トレーニングインスタンスと各ラベルの凸結合を利用するデータ拡張戦略である。
本研究では,ミックスアップを受ける深層ネットワークにおけるトレーニングデータの最終層活性化について検討した。
ここでは,Mixupの最終層活性化が,期待と異なる独特の構成に主に収束していることを示す。
論文 参考訳(メタデータ) (2024-02-09T04:01:25Z) - Soft Merging: A Flexible and Robust Soft Model Merging Approach for
Enhanced Neural Network Performance [6.599368083393398]
グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。
エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。
実験は、統合されたネットワークの有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-09-21T17:07:31Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。
その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
論文 参考訳(メタデータ) (2023-06-02T12:22:35Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳(メタデータ) (2020-10-15T17:45:18Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳(メタデータ) (2020-10-15T16:07:26Z) - Training independent subnetworks for robust prediction [47.81111607870936]
一つのモデルの前方通過の下で、複数の予測を使用することの利点を無償で実現できることを示す。
CIFAR10, CIFAR100, ImageNet, およびそれらのアウト・オブ・ディストリビューション変種に対する負のログ類似度, 精度, 校正誤差の大幅な改善を観察した。
論文 参考訳(メタデータ) (2020-10-13T18:05:13Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳(メタデータ) (2020-03-23T17:55:42Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。