論文の概要: Locally Supervised Learning with Periodic Global Guidance
- arxiv url: http://arxiv.org/abs/2208.00821v1
- Date: Mon, 1 Aug 2022 13:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:16:17.565714
- Title: Locally Supervised Learning with Periodic Global Guidance
- Title(参考訳): 周期的グローバルガイダンスを用いた局所教師付き学習
- Authors: Hasnain Irshad Bhatti and Jaekyun Moon
- Abstract要約: ニューラルネットワークの局所的ロスに基づくトレーニングにおいて,グローバルな目的を反復的に再現するために,周期的ガイド付き局所学習(PGL)を提案する。
本稿では,メモリフットプリントが低い場合に,簡単な周期的ガイダンス方式によって大幅な性能向上が期待できることを示す。
- 参考スコア(独自算出の注目度): 19.41730292017383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Locally supervised learning aims to train a neural network based on a local
estimation of the global loss function at each decoupled module of the network.
Auxiliary networks are typically appended to the modules to approximate the
gradient updates based on the greedy local losses. Despite being advantageous
in terms of parallelism and reduced memory consumption, this paradigm of
training severely degrades the generalization performance of neural networks.
In this paper, we propose Periodically Guided local Learning (PGL), which
reinstates the global objective repetitively into the local-loss based training
of neural networks primarily to enhance the model's generalization capability.
We show that a simple periodic guidance scheme begets significant performance
gains while having a low memory footprint. We conduct extensive experiments on
various datasets and networks to demonstrate the effectiveness of PGL,
especially in the configuration with numerous decoupled modules.
- Abstract(参考訳): 局所教師付き学習は、ネットワークの各分離モジュールにおけるグローバル損失関数の局所的な推定に基づいて、ニューラルネットワークをトレーニングすることを目的としている。
補助ネットワークは通常、局所的な損失に基づいて勾配更新を近似するためにモジュールに追加される。
並列性やメモリ消費の削減という点では有利だが、この訓練パラダイムはニューラルネットワークの一般化性能を著しく低下させる。
本稿では,主にモデルの一般化能力を高めるために,ニューラルネットワークの局所的ロスに基づくトレーニングに世界目標を反復的に再提示する周期的ガイド付き局所学習(PGL)を提案する。
単純な周期的誘導スキームは、メモリフットプリントを低くしながら、大幅なパフォーマンス向上をもたらすことを示す。
我々は,PGLの有効性を示すために,様々なデータセットやネットワーク上で広範囲に実験を行った。
関連論文リスト
- Go beyond End-to-End Training: Boosting Greedy Local Learning with
Context Supply [0.12187048691454236]
ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。
勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。
本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
論文 参考訳(メタデータ) (2023-12-12T10:25:31Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-04-03T13:25:22Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot
Learning [77.72330187258498]
エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。
ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。
グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
論文 参考訳(メタデータ) (2021-11-03T11:13:13Z) - LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised
Classification [0.0]
深層半教師付き分類の最近の進歩は、前例のない性能に達している。
モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。
本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
論文 参考訳(メタデータ) (2021-06-08T17:09:28Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement
Learning Agents [0.0]
ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。
本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。
当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
論文 参考訳(メタデータ) (2020-10-15T17:17:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。