Fugu-MT 論文翻訳(概要): Intra-Model Collaborative Learning of Neural Networks

論文の概要: Intra-Model Collaborative Learning of Neural Networks

arxiv url: http://arxiv.org/abs/2105.09590v1
Date: Thu, 20 May 2021 08:30:33 GMT
ステータス: 処理完了
システム内更新日: 2021-05-21 13:34:53.632807
Title: Intra-Model Collaborative Learning of Neural Networks
Title（参考訳）: ニューラルネットワークのモデル内協調学習
Authors: Shijie Fang, Tong Lin
Abstract要約: 本研究では,1つのネットワークの異なる部分間での協調学習の4つの方法を提案する。 SongとChaiの手法と比較して、我々のフレームワークは単一のモデル内でのコラボレーションをさらに検討し、オーバーヘッドを小さくします。提案手法は,Cifar-10データセットを用いた実験により,ノイズのラベル付けに頑健であることが証明された。
参考スコア（独自算出の注目度）: 3.04585143845864
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, collaborative learning proposed by Song and Chai has achieved remarkable improvements in image classification tasks by simultaneously training multiple classifier heads. However, huge memory footprints required by such multi-head structures may hinder the training of large-capacity baseline models. The natural question is how to achieve collaborative learning within a single network without duplicating any modules. In this paper, we propose four ways of collaborative learning among different parts of a single network with negligible engineering efforts. To improve the robustness of the network, we leverage the consistency of the output layer and intermediate layers for training under the collaborative learning framework. Besides, the similarity of intermediate representation and convolution kernel is also introduced to reduce the reduce redundant in a neural network. Compared to the method of Song and Chai, our framework further considers the collaboration inside a single model and takes smaller overhead. Extensive experiments on Cifar-10, Cifar-100, ImageNet32 and STL-10 corroborate the effectiveness of these four ways separately while combining them leads to further improvements. In particular, test errors on the STL-10 dataset are decreased by $9.28\%$ and $5.45\%$ for ResNet-18 and VGG-16 respectively. Moreover, our method is proven to be robust to label noise with experiments on Cifar-10 dataset. For example, our method has $3.53\%$ higher performance under $50\%$ noise ratio setting.
Abstract（参考訳）: 近年,songとchaiによるコラボレーティブラーニングにより,複数の分類器頭を同時に訓練することで画像分類タスクが大幅に改善されている。しかし、このようなマルチヘッド構造に必要な巨大なメモリフットプリントは、大容量のベースラインモデルのトレーニングを妨げる可能性がある。自然な質問は、モジュールを複製せずに単一のネットワーク内で協調学習を実現する方法だ。本稿では,1つのネットワークの異なる部分間での協調学習の4つの方法を提案する。ネットワークのロバスト性を向上させるため,協調学習フレームワークの下では,出力層と中間層の一貫性をトレーニングに活用する。さらに、中間表現と畳み込みカーネルの類似性も導入され、ニューラルネットワークの冗長性を低減できる。 songとchaiの方法と比較して、このフレームワークは単一モデル内のコラボレーションをさらに考慮し、オーバーヘッドを小さくします。 cifar-10、cifar-100、imagenet32、stl-10の広範な実験は、これら4つの方法の有効性を分離し、それらを組み合わせることでさらなる改善をもたらす。特に、STL-10データセットのテストエラーは、それぞれResNet-18とVGG-16の9.28\%$と5.45\%$に減少する。また,cifar-10データセットを用いた実験により,ノイズのラベル付けにロバストであることが証明された。例えば、この方法では、50ドル$ノイズ比設定で3.53ドル高いパフォーマンスが得られます。

関連論文リスト

Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文参考訳（メタデータ） (2022-08-17T05:42:59Z)
Learning Rate Curriculum [75.98230528486401]
ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
論文参考訳（メタデータ） (2022-05-18T18:57:36Z)
BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文参考訳（メタデータ） (2022-03-03T05:31:33Z)
Model Composition: Can Multiple Neural Networks Be Combined into a Single Network Using Only Unlabeled Data? [6.0945220518329855]
本稿では,ラベルなしデータを用いた複数のトレーニングニューラルネットワークの組み合わせについて検討する。提案手法は, ラベルのないデータから収集した疑似ラベルの生成, フィルタリング, 集約を利用する。本手法は任意のアーキテクチャとカテゴリを持つ任意の入力モデルの使用をサポートする。
論文参考訳（メタデータ） (2021-10-20T04:17:25Z)
ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文参考訳（メタデータ） (2021-10-11T14:45:00Z)
Boost Neural Networks by Checkpoints [9.411567653599358]
本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
論文参考訳（メタデータ） (2021-10-03T09:14:15Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文参考訳（メタデータ） (2020-08-24T04:08:48Z)
Improving Sample Efficiency with Normalized RBF Kernels [0.0]
本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。 CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
論文参考訳（メタデータ） (2020-07-30T11:40:29Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。