論文の概要: Boosting Residual Networks with Group Knowledge

• arxiv url: http://arxiv.org/abs/2308.13772v1
• Date: Sat, 26 Aug 2023 05:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 19:18:56.066768
• Title: Boosting Residual Networks with Group Knowledge
• Title（参考訳）: グループ知識による残留ネットワークの強化
• Authors: Shengji Tang, Peng Ye, Baopu Li, Weihao Lin, Tao Chen, Tong He, Chong Yu, Wanli Ouyang
• Abstract要約: 最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。 深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。 残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 75.73793561417702
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent research understands the residual networks from a new perspective of the implicit ensemble model. From this view, previous methods such as stochastic depth and stimulative training have further improved the performance of the residual network by sampling and training of its subnets. However, they both use the same supervision for all subnets of different capacities and neglect the valuable knowledge generated by subnets during training. In this manuscript, we mitigate the significant knowledge distillation gap caused by using the same kind of supervision and advocate leveraging the subnets to provide diverse knowledge. Based on this motivation, we propose a group knowledge based training framework for boosting the performance of residual networks. Specifically, we implicitly divide all subnets into hierarchical groups by subnet-in-subnet sampling, aggregate the knowledge of different subnets in each group during training, and exploit upper-level group knowledge to supervise lower-level subnet groups. Meanwhile, We also develop a subnet sampling strategy that naturally samples larger subnets, which are found to be more helpful than smaller subnets in boosting performance for hierarchical groups. Compared with typical subnet training and other methods, our method achieves the best efficiency and performance trade-offs on multiple datasets and network structures. The code will be released soon.
• Abstract（参考訳）: 最近の研究は、暗黙のアンサンブルモデルの新しい視点から残留ネットワークを理解する。 この観点から、確率深度や刺激訓練といった従来の手法は、サブネットのサンプリングとトレーニングにより、残留ネットワークの性能をさらに向上させた。 しかし、両者は異なる能力を持つ全てのサブネットに対して同じ監督を行い、訓練中にサブネットが生み出す貴重な知識を無視している。 本書では,同じ種類の監督を用いることによって生じる重要な知識蒸留ギャップを緩和し,サブネットを活用した多様な知識の提供を提唱する。 このモチベーションに基づいて,残余ネットワークの性能向上のためのグループ知識ベーストレーニングフレームワークを提案する。 具体的には、すべてのサブネットをサブネットサンプリングによって階層群に暗黙的に分割し、トレーニング中に各グループの異なるサブネットの知識を集約し、上位レベルのグループ知識を利用して下位レベルのサブネットグループを監督する。 また,より大規模なサブネットを自然にサンプリングするサブネットサンプリング手法を開発した。 従来のサブネットトレーニングや他の手法と比較して,複数のデータセットとネットワーク構造において,最適な効率性と性能上のトレードオフを実現する。 コードはまもなくリリースされる。

関連論文リスト

• PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
  PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。 提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。 本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-29T03:20:43Z)
• Neural Subnetwork Ensembles [2.44755919161855]
  この論文は、Subnetwork Ensemblesを構築するための低コストのフレームワークを導入し、形式化する。 児童ネットワークは、訓練された親モデルからのサンプリング、摂動、最適化によって形成される。 その結果,本手法はトレーニング効率,パラメトリック利用,一般化性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-11-23T17:01:16Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks [53.88811980967342]
  本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。 ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。 6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
  論文  参考訳（メタデータ） (2022-06-01T09:51:38Z)
• Deep Embedded Clustering with Distribution Consistency Preservation for Attributed Networks [15.895606627146291]
  本研究では,属性ネットワークに対するエンドツーエンドの深層クラスタリングモデルを提案する。 グラフオートエンコーダとノード属性オートエンコーダを使用して、ノード表現とクラスタ割り当てをそれぞれ学習する。 提案手法は, 最先端手法と比較して, 性能が著しく向上する。
  論文  参考訳（メタデータ） (2022-05-28T02:35:34Z)
• Prioritized Subnet Sampling for Resource-Adaptive Supernet Training [136.6591624918964]
  資源適応型スーパーネットであるPSS-Netを学習するための優先順位付きサブネットサンプリングを提案する。 MobileNetV1/V2を用いたImageNetの実験では、当社のPSS-Netは、最先端のリソース適応型スーパーネットより優れていることが示されている。
  論文  参考訳（メタデータ） (2021-09-12T04:43:51Z)
• Embedded Knowledge Distillation in Depth-level Dynamic Neural Network [8.207403859762044]
  類似アーキテクチャの異なる深層サブネットを統合した、エレガントな深層ダイナミックニューラルネットワーク(DDNN)を提案する。 本稿では、DDNNが教師(フル)ネットから複数のサブネットへの意味的知識伝達を実装するためのEKD(Embedded-Knowledge-Distillation)トレーニング機構を設計する。 CIFAR-10、CIFAR-100、ImageNetデータセットの実験では、EKDトレーニングを備えたDDNNのサブネットは、深さレベルの切断または個別トレーニングよりも優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-01T06:35:31Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
  複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。 トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-03-20T03:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。