論文の概要: Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning
- arxiv url: http://arxiv.org/abs/2101.08732v1
- Date: Thu, 21 Jan 2021 17:17:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 12:13:25.314965
- Title: Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning
- Title（参考訳）: 自己適応型トレーニング - 教師付き,自己監視型学習のブリッジ
- Authors: Lang Huang, Chao Zhang and Hongyang Zhang
- Abstract要約: 自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
- 参考スコア（独自算出の注目度）: 16.765461276790944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose self-adaptive training -- a unified training algorithm that
dynamically calibrates and enhances training process by model predictions
without incurring extra computational cost -- to advance both supervised and
self-supervised learning of deep neural networks. We analyze the training
dynamics of deep networks on training data that are corrupted by, e.g., random
noise and adversarial examples. Our analysis shows that model predictions are
able to magnify useful underlying information in data and this phenomenon
occurs broadly even in the absence of \emph{any} label information,
highlighting that model predictions could substantially benefit the training
process: self-adaptive training improves the generalization of deep networks
under noise and enhances the self-supervised representation learning. The
analysis also sheds light on understanding deep learning, e.g., a potential
explanation of the recently-discovered double-descent phenomenon in empirical
risk minimization and the collapsing issue of the state-of-the-art
self-supervised learning algorithms. Experiments on the CIFAR, STL and ImageNet
datasets verify the effectiveness of our approach in three applications:
classification with label noise, selective classification and linear
evaluation. To facilitate future research, the code has been made public
available at https://github.com/LayneH/self-adaptive-training.
- Abstract（参考訳）: 深層ニューラルネットワークの教師付き学習と自己教師付き学習の両方を進めるために,計算コストを伴わずにモデル予測による学習プロセスを動的にコーディネートし,強化する統合学習アルゴリズムを提案する。
例えば、ランダムノイズや逆向きの例によって破損したトレーニングデータに基づいて、ディープネットワークのトレーニングダイナミクスを分析する。
分析の結果、モデル予測はデータ中の有用な基盤情報を最大化することが可能であり、この現象は「emph{any}」ラベル情報がない場合でも広範に発生し、モデル予測がトレーニングプロセスに有益であることを強調した: 自己適応学習は、ノイズ下でのディープネットワークの一般化を改善し、自己教師付き表現学習を強化する。
この分析は、例えば、最近発見された経験的リスク最小化における二重発散現象と、最先端の自己教師型学習アルゴリズムの崩壊問題について、深層学習の理解にも光を当てている。
CIFAR, STL, ImageNetデータセットを用いた実験により, ラベルノイズによる分類, 選択的分類, 線形評価の3つの応用において, 提案手法の有効性が検証された。
将来の研究を容易にするため、コードはhttps://github.com/LayneH/self-adaptive-trainingで公開されている。
関連論文リスト
- Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - XAI-Increment: A Novel Approach Leveraging LIME Explanations for
Improved Incremental Learning [5.969142831452708]
XAI-Incrementとして知られるフレームワークは、弾性重み付け(EWC)で開発されたカスタム重み付け損失を取り入れている。
カスタムの重み付けされた損失を含むトレーニング手順は、Google Speech Commandsデータセットのキーワードスポッティングタスクに対する従来の損失ベースのトレーニングと比較して、約1%の精度向上を示している。
論文 参考訳（メタデータ） (2022-11-02T18:16:17Z) - On the Informativeness of Supervision Signals [13.534683694551498]
コントラスト学習と分類から一般的に用いられるいくつかの教師信号の情報理論解析を行い、それらが表現学習のパフォーマンスにどのように貢献するかを判断する。
我々は,これらの結果を一連のシミュレーションで実証的に検証し,それぞれのデータセット上で表現学習を監督するコストを最適化するトレードオフ曲線を確立するために,コスト便益分析を行う。
論文 参考訳（メタデータ） (2022-11-02T18:02:31Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳（メタデータ） (2022-07-13T09:43:17Z) - Addressing Bias in Visualization Recommenders by Identifying Trends in
Training Data: Improving VizML Through a Statistical Analysis of the Plotly
Community Feed [55.41644538483948]
機械学習は、高いスケーラビリティと表現力のために、視覚化レコメンデーションに対する有望なアプローチである。
本研究は,統計的解析によりトレーニングデータの傾向を特定することで,機械学習可視化推薦システムにおけるトレーニングバイアスに対処することを目的とする。
論文 参考訳（メタデータ） (2022-03-09T18:36:46Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。
既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。
本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
論文 参考訳（メタデータ） (2021-11-29T06:05:23Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳（メタデータ） (2020-12-08T04:31:38Z) - Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。
自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。
CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
論文 参考訳（メタデータ） (2020-02-24T15:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。