論文の概要: Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet
- arxiv url: http://arxiv.org/abs/2007.00649v1
- Date: Wed, 1 Jul 2020 17:56:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 22:26:29.583966
- Title: Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet
- Title（参考訳）: グループアンサンブル:単一のConvNetでConvNetのアンサンブルを学ぶ
- Authors: Hao Chen, Abhinav Shrivastava
- Abstract要約: Group Ensemble Network (GENet) は、単一のConvNetにConvNetのアンサンブルを組み込んだアーキテクチャである。
genetは、単一のConvNetと同じ計算を保持しながら、明示的なアンサンブル学習の利点を十分に活用することができる。
具体的には、グループアンサンブルはImageNet上のResNeXt-50でトップ1エラーを1.83%削減する。
- 参考スコア（独自算出の注目度）: 43.94478009880398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble learning is a general technique to improve accuracy in machine
learning. However, the heavy computation of a ConvNets ensemble limits its
usage in deep learning. In this paper, we present Group Ensemble Network
(GENet), an architecture incorporating an ensemble of ConvNets in a single
ConvNet. Through a shared-base and multi-head structure, GENet is divided into
several groups to make explicit ensemble learning possible in a single ConvNet.
Owing to group convolution and the shared-base, GENet can fully leverage the
advantage of explicit ensemble learning while retaining the same computation as
a single ConvNet. Additionally, we present Group Averaging, Group Wagging and
Group Boosting as three different strategies to aggregate these ensemble
members. Finally, GENet outperforms larger single networks, standard ensembles
of smaller networks, and other recent state-of-the-art methods on CIFAR and
ImageNet. Specifically, group ensemble reduces the top-1 error by 1.83% for
ResNeXt-50 on ImageNet. We also demonstrate its effectiveness on action
recognition and object detection tasks.
- Abstract（参考訳）: アンサンブル学習は、機械学習の精度を向上させる一般的なテクニックである。
しかし、ConvNetsアンサンブルの重い計算は、ディープラーニングにおける使用を制限する。
本稿では,単一の ConvNet に ConvNet のアンサンブルを組み込んだアーキテクチャである Group Ensemble Network (GENet) を提案する。
共有ベースとマルチヘッド構造により、genetは複数のグループに分けられ、単一のConvNetで明示的なアンサンブル学習を可能にする。
グループ畳み込みと共有ベースにより、genetは単一のConvNetと同じ計算を維持しながら、明示的なアンサンブル学習の利点を完全に活用することができる。
さらに,グループ平均化,グループワッギング,グループブースティングを,これらアンサンブルメンバを集約するための3つの異なる戦略として提示する。
最後に、genetはより大きなシングルネットワーク、より小さなネットワークの標準アンサンブル、CIFARとImageNetの最近の最先端メソッドよりも優れています。
具体的には、グループアンサンブルはImageNet上のResNeXt-50でトップ1エラーを1.83%削減する。
また,行動認識および物体検出タスクにおいてその効果を示す。
関連論文リスト
- Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。
まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。
次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
論文 参考訳（メタデータ） (2024-08-05T08:23:59Z) - Boosting Residual Networks with Group Knowledge [75.73793561417702]
最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。
深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。
残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-26T05:39:57Z) - Deep Image Clustering with Contrastive Learning and Multi-scale Graph
Convolutional Networks [58.868899595936476]
コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。
複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
論文 参考訳（メタデータ） (2022-07-14T19:16:56Z) - DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep
Neural Networks [53.88811980967342]
本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。
ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。
6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
論文 参考訳（メタデータ） (2022-06-01T09:51:38Z) - 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。
本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
論文 参考訳（メタデータ） (2021-11-29T16:34:53Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - Deeper or Wider Networks of Point Clouds with Self-attention? [2.4367113675470553]
本稿では,ネットワーク構築のための基本ブロックとしてグループワイド自己アテンションを提案する。
SepNetは、グループ内の任意の点の重み付けされた特徴の和に基づいて、グループの特徴を計算する。
SepNetは, 幅や深さの増大により, 分類やセグメンテーションにおいて, 余分な精度が得られるという実証的証拠を示す。
論文 参考訳（メタデータ） (2020-11-29T05:03:06Z) - Dynamic Group Convolution for Accelerating Convolutional Neural Networks [23.644124360336754]
本稿では,各グループ内で接続すべき入力チャネルのどの部分を適応的に選択する動的グループ畳み込み(DGC)を提案する。
複数のグループは、入力画像ごとに、豊富で相補的な視覚的/意味的特徴を適応的にキャプチャすることができる。
DGCは元のネットワーク構造を保持し、従来のグループ畳み込みと同様の計算効率を持つ。
論文 参考訳（メタデータ） (2020-07-08T16:35:44Z) - BatchEnsemble: An Alternative Approach to Efficient Ensemble and
Lifelong Learning [46.768185367275564]
BatchEnsembleは、一般的なアンサンブルよりも計算コストとメモリコストが大幅に低いアンサンブル法である。
BatchEnsembleは、典型的なアンサンブルとして、競争の正確さと不確実性をもたらすことを示す。
また、生涯学習にBatchEnsembleを適用し、Split-CIFAR-100では、BatchEnsembleはプログレッシブニューラルネットワークと同等のパフォーマンスを得る。
論文 参考訳（メタデータ） (2020-02-17T00:00:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。