論文の概要: Stimulative Training of Residual Networks: A Social Psychology Perspective of Loafing

• arxiv url: http://arxiv.org/abs/2210.04153v1
• Date: Sun, 9 Oct 2022 03:15:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:30:53.966174
• Title: Stimulative Training of Residual Networks: A Social Psychology Perspective of Loafing
• Title（参考訳）: 残存ネットワークの刺激的訓練--ローフィングの社会心理学的視点
• Authors: Peng Ye, Shengji Tang, Baopu Li, Tao Chen, Wanli Ouyang
• Abstract要約: 残余のネットワークは大きな成功を収め、今日のディープモデルでは欠かせないものになっている。 我々は,新たな社会的心理学的視点から,残余ネットワークのトレーニングプロセスを再検討することを目的としている。 残余ネットワークの性能を高めるための新たなトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 86.69698062642055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual networks have shown great success and become indispensable in today's deep models. In this work, we aim to re-investigate the training process of residual networks from a novel social psychology perspective of loafing, and further propose a new training strategy to strengthen the performance of residual networks. As residual networks can be viewed as ensembles of relatively shallow networks (i.e., \textit{unraveled view}) in prior works, we also start from such view and consider that the final performance of a residual network is co-determined by a group of sub-networks. Inspired by the social loafing problem of social psychology, we find that residual networks invariably suffer from similar problem, where sub-networks in a residual network are prone to exert less effort when working as part of the group compared to working alone. We define this previously overlooked problem as \textit{network loafing}. As social loafing will ultimately cause the low individual productivity and the reduced overall performance, network loafing will also hinder the performance of a given residual network and its sub-networks. Referring to the solutions of social psychology, we propose \textit{stimulative training}, which randomly samples a residual sub-network and calculates the KL-divergence loss between the sampled sub-network and the given residual network, to act as extra supervision for sub-networks and make the overall goal consistent. Comprehensive empirical results and theoretical analyses verify that stimulative training can well handle the loafing problem, and improve the performance of a residual network by improving the performance of its sub-networks. The code is available at https://github.com/Sunshine-Ye/NIPS22-ST .
• Abstract（参考訳）: 残ったネットワークは大きな成功を収め、今日の深層モデルでは不可欠となった。 本研究では,新たな社会心理学的視点から,残差ネットワークの訓練過程を再検討することを目的として,残差ネットワークの性能を高めるための新たな訓練戦略を提案する。 従来の研究では、残余ネットワークは比較的浅いネットワークのアンサンブル(つまり、textit{unraveled view})と見なされるので、そのような視点から始めて、残余ネットワークの最終的な性能はサブネットワークのグループによって決定されると考える。 社会心理学の社会的疎外問題に触発されて、残余ネットワークは、しばしば同様の問題に悩まされ、残余ネットワーク内のサブネットワークは、単独で働くよりもグループの一員として働く場合の労力を減らしがちである。 以前に見落としていた問題を \textit{network loafing} と定義する。 ソーシャルローフは最終的に個人の生産性を低下させ、全体のパフォーマンスを低下させるため、ネットワークローフは、所定のネットワークとそのサブネットワークのパフォーマンスを阻害する。 社会心理学の解を参考に,残余のサブネットワークをランダムにサンプリングし,サンプリングしたサブネットワークと与えられた残余ネットワーク間のKL分割損失を計算し,サブネットワークの余剰監督として機能し,全体的な目標を整合させる「textit{stimulative training」を提案する。 総合的な実験結果と理論的解析により、刺激的訓練がローフィング問題にうまく対応できることが検証され、サブネットワークの性能を向上させることにより、残余ネットワークの性能が向上する。 コードはhttps://github.com/sunshine-ye/nips22-stで入手できる。

関連論文リスト

• Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
  残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。 従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。 残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
  論文  参考訳（メタデータ） (2023-05-04T02:38:11Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Residual networks classify inputs based on their neural transient dynamics [0.0]
  我々は各入力次元に対応する残差間の協調と競合のダイナミクスがあることを解析的に示す。 残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。
  論文  参考訳（メタデータ） (2021-01-08T13:54:37Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• NetReAct: Interactive Learning for Network Summarization [60.18513812680714]
  本論文では,テキストコーポラによる感覚生成のネットワーク可視化を支援する,新しいインタラクティブネットワーク要約アルゴリズムであるNetReActを提案する。 netreactが、他の非自明なベースラインよりも、隠れたパターンを明らかにする高品質な要約や視覚化の生成に成功していることを示す。
  論文  参考訳（メタデータ） (2020-12-22T03:56:26Z)
• Activation function impact on Sparse Neural Networks [0.0]
  スパース進化的トレーニングは、完全に連結されたモデルと比較して計算の複雑さを著しく減らすことができる。 本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。
  論文  参考訳（メタデータ） (2020-10-12T18:05:04Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
  勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。 我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
  論文  参考訳（メタデータ） (2020-03-11T20:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。