Fugu-MT 論文翻訳(概要): Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling

論文の概要: Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling

arxiv url: http://arxiv.org/abs/2010.08038v1
Date: Thu, 15 Oct 2020 21:51:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 04:26:36.373023
Title: Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling
Title（参考訳）: 階層型学習はスケールアップが難しい理由と,高速化ダウンサンプリングによる解決法
Authors: Wenchi Ma, Miao Yu, Kaidong Li, Guanghui Wang
Abstract要約: レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
参考スコア（独自算出の注目度）: 19.025707054206457
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Layer-wise learning, as an alternative to global back-propagation, is easy to interpret, analyze, and it is memory efficient. Recent studies demonstrate that layer-wise learning can achieve state-of-the-art performance in image classification on various datasets. However, previous studies of layer-wise learning are limited to networks with simple hierarchical structures, and the performance decreases severely for deeper networks like ResNet. This paper, for the first time, reveals the fundamental reason that impedes the scale-up of layer-wise learning is due to the relatively poor separability of the feature space in shallow layers. This argument is empirically verified by controlling the intensity of the convolution operation in local layers. We discover that the poorly-separable features from shallow layers are mismatched with the strong supervision constraint throughout the entire network, making the layer-wise learning sensitive to network depth. The paper further proposes a downsampling acceleration approach to weaken the poor learning of shallow layers so as to transfer the learning emphasis to deep feature space where the separability matches better with the supervision restraint. Extensive experiments have been conducted to verify the new finding and demonstrate the advantages of the proposed downsampling acceleration in improving the performance of layer-wise learning.
Abstract（参考訳）: 階層学習は、グローバルなバックプロパゲーションの代替として、解釈、解析が容易であり、メモリ効率がよい。近年の研究では、階層学習が様々なデータセット上の画像分類において最先端のパフォーマンスを達成できることが示されている。しかし,階層構造が単純なネットワークに限られており,ResNetのような深層ネットワークでは性能が著しく低下する。本稿では,浅層層における特徴空間の分離性が比較的低いため,レイヤワイズ学習のスケールアップを阻害する根本的な理由を初めて明らかにする。この議論は局所的な層における畳み込み操作の強度を制御することによって実証的に検証される。浅層層から分離しにくい特徴は,ネットワーク全体の強い監督制約と一致せず,ネットワーク深度に敏感な層知学習を実現する。さらに,浅層学習の貧弱化を図り,分離性が抑止力とよく一致した深部特徴空間に学習強調を移すためのダウンサンプリング高速化手法を提案する。新たな発見を検証し,層間学習の性能向上におけるダウンサンプリング・アクセラレーションの利点を実証するために,広範な実験が行われている。

関連論文リスト

Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文参考訳（メタデータ） (2023-11-06T09:00:38Z)
Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
論文参考訳（メタデータ） (2023-07-26T05:29:29Z)
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文参考訳（メタデータ） (2023-05-11T17:19:30Z)
Contrastive Deep Supervision [23.93993488930552]
本稿では,拡張型コントラスト学習を用いて中間層を監督するContrastive Deep Supervisionを提案する。一般的な画像分類, きめ細かな画像分類, 物体検出において, 11モデルを用いた9つの人気データセットの実験結果が有効であった。
論文参考訳（メタデータ） (2022-07-12T04:33:42Z)
Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文参考訳（メタデータ） (2022-04-14T22:06:21Z)
Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning [11.721183551822097]
提案手法は, 補助ネットワークを必要とせずに, 圧縮センシングにより各層にネットワークをモデル化することにより, 対象の伝搬を実現することができることを示す。実験により,提案手法は補助的なネットワークベース手法よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2021-10-20T05:21:13Z)
A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks [0.4893345190925178]
本稿では,情報強化層を層単位で検討し,特徴抽出と知識保持を改善するResidual Deep Belief Networkを提案する。 3つの公開データセットで実施した実験は、バイナリイメージ分類のタスクに関する堅牢性を示している。
論文参考訳（メタデータ） (2021-01-17T18:53:18Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文参考訳（メタデータ） (2020-08-04T05:41:29Z)
Understanding and Diagnosing Vulnerability under Adversarial Attacks [62.661498155101654]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。本稿では,潜在変数の分類に使用される特徴を説明するために,新しい解釈可能性手法であるInterpretGANを提案する。また、各層がもたらす脆弱性を定量化する最初の診断方法も設計する。
論文参考訳（メタデータ） (2020-07-17T01:56:28Z)
Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
論文参考訳（メタデータ） (2020-02-21T19:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。