論文の概要: Stimulative Training++: Go Beyond The Performance Limits of Residual Networks

• arxiv url: http://arxiv.org/abs/2305.02507v1
• Date: Thu, 4 May 2023 02:38:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 17:16:29.898470
• Title: Stimulative Training++: Go Beyond The Performance Limits of Residual Networks
• Title（参考訳）: Stimulative Training++: 残余ネットワークのパフォーマンス限界を超えて
• Authors: Peng Ye, Tong He, Shengji Tang, Baopu Li, Tao Chen, Lei Bai, Wanli Ouyang
• Abstract要約: 残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。 従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。 残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
• 参考スコア（独自算出の注目度）: 91.5381301894899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual networks have shown great success and become indispensable in recent deep neural network models. In this work, we aim to re-investigate the training process of residual networks from a novel social psychology perspective of loafing, and further propose a new training scheme as well as three improved strategies for boosting residual networks beyond their performance limits. Previous research has suggested that residual networks can be considered as ensembles of shallow networks, which implies that the final performance of a residual network is influenced by a group of subnetworks. We identify a previously overlooked problem that is analogous to social loafing, where subnetworks within a residual network are prone to exert less effort when working as part of a group compared to working alone. We define this problem as \textit{network loafing}. Similar to the decreased individual productivity and overall performance as demonstrated in society, network loafing inevitably causes sub-par performance. Inspired by solutions from social psychology, we first propose a novel training scheme called stimulative training, which randomly samples a residual subnetwork and calculates the KL divergence loss between the sampled subnetwork and the given residual network for extra supervision. In order to unleash the potential of stimulative training, we further propose three simple-yet-effective strategies, including a novel KL- loss that only aligns the network logits direction, random smaller inputs for subnetworks, and inter-stage sampling rules. Comprehensive experiments and analysis verify the effectiveness of stimulative training as well as its three improved strategies.
• Abstract（参考訳）: 残差ネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは不可欠になった。 本研究は, 新たな社会的心理学的視点から, 残余ネットワークの学習過程を再検討することを目的としており, さらに, 残余ネットワークを性能限界を超えて強化するための3つの改善戦略も提案する。 これまでの研究では、残差ネットワークは浅いネットワークのアンサンブルと見なすことができ、残差ネットワークの最終性能はサブネットワークのグループに影響されていることを示唆している。 我々は、残余ネットワーク内のサブネットワークが、単独で作業するよりもグループとして働く場合の労力を減らしがちな、社会的疎結合に類似した、これまで見過ごされていた問題を特定する。 この問題を \textit{network loafing} と定義する。 個人の生産性の低下や社会での全体的なパフォーマンスと同様に、ネットワークローフは必然的にサブパーパフォーマンスを引き起こす。 社会心理学の解に触発されて,まず,残余サブネットワークをランダムにサンプリングし,サンプルサブネットワークと与えられた残余ネットワーク間のKL分散損失を計算し,余剰監視を行う刺激訓練という新たなトレーニング手法を提案する。 刺激的学習の可能性を明らかにするため,ネットワークロジッツ方向のみを調整可能な新しいkllos,サブネットワークに対するランダムな小さな入力,ステージ間サンプリングルールなど,簡便かつ効果的な3つの戦略を提案する。 総合的な実験と分析により,刺激訓練の有効性と3つの改善戦略が検証された。

関連論文リスト

• Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
  一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。 本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。 本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
  論文  参考訳（メタデータ） (2024-02-08T18:49:09Z)
• Adaptive Depth Networks with Skippable Sub-Paths [1.8416014644193066]
  本稿では,最小限のトレーニングを施した適応深度ネットワークへの実践的アプローチを提案する。 当社のアプローチは,すべてのターゲットサブネットワークを反復的にトレーニングするものではない。 提案手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
  論文  参考訳（メタデータ） (2023-12-27T03:43:38Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Stimulative Training of Residual Networks: A Social Psychology Perspective of Loafing [86.69698062642055]
  残余のネットワークは大きな成功を収め、今日のディープモデルでは欠かせないものになっている。 我々は,新たな社会的心理学的視点から,残余ネットワークのトレーニングプロセスを再検討することを目的としている。 残余ネットワークの性能を高めるための新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-09T03:15:51Z)
• Growing Neural Network with Shared Parameter [0.0]
  本稿では,学習したネットワークを新しい入力に合わせることで,共有パラメータでニューラルネットワークを成長させる一般的な手法を提案する。 提案手法は,パラメータ効率を向上して性能を向上させる能力を示した。 また、トランスタスクケースにも適用可能で、新しいタスクをトレーニングすることなくワークの組み合わせを変更することで、トランスタスク学習を実現することができる。
  論文  参考訳（メタデータ） (2022-01-17T16:24:17Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Activation function impact on Sparse Neural Networks [0.0]
  スパース進化的トレーニングは、完全に連結されたモデルと比較して計算の複雑さを著しく減らすことができる。 本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。
  論文  参考訳（メタデータ） (2020-10-12T18:05:04Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
  勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。 我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
  論文  参考訳（メタデータ） (2020-03-11T20:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。