論文の概要: Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning
- arxiv url: http://arxiv.org/abs/2101.08732v1
- Date: Thu, 21 Jan 2021 17:17:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 12:13:25.314965
- Title: Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning
- Title（参考訳）: 自己適応型トレーニング - 教師付き,自己監視型学習のブリッジ
- Authors: Lang Huang, Chao Zhang and Hongyang Zhang
- Abstract要約: 自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
- 参考スコア（独自算出の注目度）: 16.765461276790944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose self-adaptive training -- a unified training algorithm that
dynamically calibrates and enhances training process by model predictions
without incurring extra computational cost -- to advance both supervised and
self-supervised learning of deep neural networks. We analyze the training
dynamics of deep networks on training data that are corrupted by, e.g., random
noise and adversarial examples. Our analysis shows that model predictions are
able to magnify useful underlying information in data and this phenomenon
occurs broadly even in the absence of \emph{any} label information,
highlighting that model predictions could substantially benefit the training
process: self-adaptive training improves the generalization of deep networks
under noise and enhances the self-supervised representation learning. The
analysis also sheds light on understanding deep learning, e.g., a potential
explanation of the recently-discovered double-descent phenomenon in empirical
risk minimization and the collapsing issue of the state-of-the-art
self-supervised learning algorithms. Experiments on the CIFAR, STL and ImageNet
datasets verify the effectiveness of our approach in three applications:
classification with label noise, selective classification and linear
evaluation. To facilitate future research, the code has been made public
available at https://github.com/LayneH/self -adaptive-training.
- Abstract（参考訳）: 深層ニューラルネットワークの教師付き学習と自己教師付き学習の両方を進めるために,計算コストを伴わずにモデル予測による学習プロセスを動的にコーディネートし,強化する統合学習アルゴリズムを提案する。
例えば、ランダムノイズや逆向きの例によって破損したトレーニングデータに基づいて、ディープネットワークのトレーニングダイナミクスを分析する。
分析の結果、モデル予測はデータ中の有用な基盤情報を最大化することが可能であり、この現象は「emph{any}」ラベル情報がない場合でも広範に発生し、モデル予測がトレーニングプロセスに有益であることを強調した: 自己適応学習は、ノイズ下でのディープネットワークの一般化を改善し、自己教師付き表現学習を強化する。
この分析は、例えば、最近発見された経験的リスク最小化における二重発散現象と、最先端の自己教師型学習アルゴリズムの崩壊問題について、深層学習の理解にも光を当てている。
CIFAR, STL, ImageNetデータセットを用いた実験により, ラベルノイズによる分類, 選択的分類, 線形評価の3つの応用において, 提案手法の有効性が検証された。
将来の研究を容易にするため、コードはhttps://github.com/LayneH/self -adaptive-trainingで公開されている。
- 全文 参考訳へのリンク
関連論文リスト
- Addressing Bias in Visualization Recommenders by Identifying Trends in
Training Data: Improving VizML Through a Statistical Analysis of the Plotly
Community Feed [55.41644538483948]
機械学習は、高いスケーラビリティと表現力のために、視覚化レコメンデーションに対する有望なアプローチである。
本研究は,統計的解析によりトレーニングデータの傾向を特定することで,機械学習可視化推薦システムにおけるトレーニングバイアスに対処することを目的とする。
論文 参考訳（メタデータ） (2022-03-09T18:36:46Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Fortuitous Forgetting in Connectionist Networks [20.206607130719696]
我々は,ニューラルネットワークの学習軌跡を形成するための強力なパラダイムとして,"forget-and-relearn"を紹介した。
forget-and-relearnフレームワークは、画像分類と言語出現文学において、多くの既存の反復的トレーニングアルゴリズムを統合する。
我々は、この理解を活用して、よりターゲットを絞った忘れ操作を設計することで、既存のアルゴリズムを改善する。
論文 参考訳（メタデータ） (2022-02-01T00:15:58Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Recursive Least-Squares Estimator-Aided Online Learning for Visual
Tracking [58.14267480293575]
オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。
これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。
我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-28T06:51:18Z) - Being Friends Instead of Adversaries: Deep Networks Learn from Data
Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。
本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。
本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文 参考訳（メタデータ） (2021-12-18T16:59:35Z) - Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。
既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。
本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
論文 参考訳（メタデータ） (2021-11-29T06:05:23Z) - Friendly Training: Neural Networks Can Adapt Data To Make Learning
Easier [23.886422706697882]
フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。
フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。
その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
論文 参考訳（メタデータ） (2021-06-21T10:50:34Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Retrieval Augmentation to Improve Robustness and Interpretability of
Deep Neural Networks [3.0410237490041805]
本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。
具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。
その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
論文 参考訳（メタデータ） (2021-02-25T17:38:31Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳（メタデータ） (2020-12-08T04:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。