論文の概要: RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr
- arxiv url: http://arxiv.org/abs/2007.03349v1
- Date: Tue, 7 Jul 2020 11:27:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:30:45.576427
- Title: RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr
- Title（参考訳）: RIFLE:完全連結LayErの再起動による深層移動学習の奥行きのバックプロパゲーション
- Authors: Xingjian Li, Haoyi Xiong, Haozhe An, Chengzhong Xu, Dejing Dou
- Abstract要約: 事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
- 参考スコア（独自算出の注目度）: 60.07531696857743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning the deep convolution neural network(CNN) using a pre-trained
model helps transfer knowledge learned from larger datasets to the target task.
While the accuracy could be largely improved even when the training dataset is
small, the transfer learning outcome is usually constrained by the pre-trained
model with close CNN weights (Liu et al., 2019), as the backpropagation here
brings smaller updates to deeper CNN layers. In this work, we propose RIFLE - a
simple yet effective strategy that deepens backpropagation in transfer learning
settings, through periodically Re-Initializing the Fully-connected LayEr with
random scratch during the fine-tuning procedure. RIFLE brings meaningful
updates to the weights of deep CNN layers and improves low-level feature
learning, while the effects of randomization can be easily converged throughout
the overall learning procedure. The experiments show that the use of RIFLE
significantly improves deep transfer learning accuracy on a wide range of
datasets, out-performing known tricks for the similar purpose, such as Dropout,
DropConnect, StochasticDepth, Disturb Label and Cyclic Learning Rate, under the
same settings with 0.5% -2% higher testing accuracy. Empirical cases and
ablation studies further indicate RIFLE brings meaningful updates to deep CNN
layers with accuracy improved.
- Abstract（参考訳）: 事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
トレーニングデータセットが小さい場合でも精度は大幅に向上するが、転送学習の結果は通常、CNNの重みが近い事前訓練されたモデル(Liuら、2019年)によって制約される。
本研究では,完全連結層をランダムにスクラッチで再初期化することにより,伝達学習環境におけるバックプロパゲーションの深化を図る,単純かつ効果的な手法であるライフルを提案する。
rifleは深層cnn層の重み付けに意味のある更新をもたらし、低レベル機能学習を改善し、ランダム化の効果は全体的な学習手順を通じて容易に収束することができる。
実験の結果、RIFLEを使用することで、幅広いデータセット上でのディープトランスファー学習の精度が大幅に向上し、Dropout、DropConnect、StochasticDepth、Disturb Label、Cyclic Learning Rateといった同様の目的で、0.5%から2%高いテスト精度で、既知のトリックよりも優れています。
RIFLEは深層CNN層に有意義な更新をもたらし、精度は向上した。
関連論文リスト
- KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for
XOR Data [24.86314525762012]
勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。
以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
論文 参考訳（メタデータ） (2023-10-03T11:31:37Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳（メタデータ） (2023-03-18T16:45:54Z) - Single image calibration using knowledge distillation approaches [1.7205106391379026]
カメラパラメータを自動的に推定するCNNアーキテクチャを構築した。
我々は、新しいデータ配信のためのネットワークを更新する際に、知識を保存するために4つの一般的な漸進学習戦略を適用した。
実験結果は, カメラキャリブレーションのキャリブレーション推定において, いずれの手法が優れているかが示唆された。
論文 参考訳（メタデータ） (2022-12-05T15:59:35Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳（メタデータ） (2021-03-04T08:14:10Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - Learning across label confidence distributions using Filtered Transfer
Learning [0.44040106718326594]
本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2020-06-03T21:00:11Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。