論文の概要: SMILE: Self-Distilled MIxup for Efficient Transfer LEarning

• arxiv url: http://arxiv.org/abs/2103.13941v1
• Date: Thu, 25 Mar 2021 16:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:31:35.091678
• Title: SMILE: Self-Distilled MIxup for Efficient Transfer LEarning
• Title（参考訳）: SMILE: 効率的なトランスファーリーニングのための自己蒸留ミキサップ
• Authors: Xingjian Li, Haoyi Xiong, Chengzhong Xu, Dejing Dou
• Abstract要約: 本研究では, SMILE-Self-Distilled Mixup for EffIcient Transfer LEarningを提案する。 混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、入力の混合特徴ベクトルから学習する。 トリプルレギュラライザーは、特徴空間とラベル空間の両方で混合効果のバランスをとりながら、前訓練タスクのサンプル間の線形性をバインドします。
• 参考スコア（独自算出の注目度）: 42.59451803498095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve the performance of deep learning, mixup has been proposed to force the neural networks favoring simple linear behaviors in-between training samples. Performing mixup for transfer learning with pre-trained models however is not that simple, a high capacity pre-trained model with a large fully-connected (FC) layer could easily overfit to the target dataset even with samples-to-labels mixed up. In this work, we propose SMILE - Self-Distilled Mixup for EffIcient Transfer LEarning. With mixed images as inputs, SMILE regularizes the outputs of CNN feature extractors to learn from the mixed feature vectors of inputs (sample-to-feature mixup), in addition to the mixed labels. Specifically, SMILE incorporates a mean teacher, inherited from the pre-trained model, to provide the feature vectors of input samples in a self-distilling fashion, and mixes up the feature vectors accordingly via a novel triplet regularizer. The triple regularizer balances the mixup effects in both feature and label spaces while bounding the linearity in-between samples for pre-training tasks. Extensive experiments have been done to verify the performance improvement made by SMILE, in comparisons with a wide spectrum of transfer learning algorithms, including fine-tuning, L2-SP, DELTA, and RIFLE, even with mixup strategies combined. Ablation studies show that the vanilla sample-to-label mixup strategies could marginally increase the linearity in-between training samples but lack of generalizability, while SMILE significantly improve the mixup effects in both label and feature spaces with both training and testing datasets. The empirical observations backup our design intuition and purposes.
• Abstract（参考訳）: ディープラーニングの性能を向上させるために、トレーニングサンプル間の単純な線形動作を好むニューラルネットワークを強制するためにmixupが提案されている。 しかし、事前訓練されたモデルによるトランスファーラーニングのミックスアップはそれほど単純ではなく、大規模な完全連結(FC)層を持つ高容量事前訓練モデルでは、サンプルとラベルを混合しても、ターゲットデータセットに容易に適合する。 本研究では, SMILE-Self-Distilled Mixup for Efficient Transfer LEarningを提案する。 混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、混合ラベルに加えて入力の混合特徴ベクトル(サンプル-機能混合)から学習する。 具体的には、事前学習されたモデルから受け継いだ平均教師を取り入れ、自己蒸留方式で入力サンプルの特徴ベクトルを提供し、新規な三重項正則化器を介して特徴ベクトルを混合する。 トリプル正則化器は特徴空間とラベル空間の両方における混合効果をバランスさせ、事前学習タスクのサンプル間の線形性を制限する。 SMILE が行った性能改善を,微調整,L2-SP,DELTA,RIFLE など,多種多様な移動学習アルゴリズムと比較し,総合的に検証した。 アブレーション研究では、バニラサンプル-ラベル混合戦略はトレーニングサンプル間の線形性をわずかに向上するが、一般化性の欠如が示され、SMILEはトレーニングデータセットとテストデータセットの両方でラベル空間と特徴空間の混合効果を著しく改善する。 経験的な観察はデザインの直感と目的をバックアップします。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification [27.043136219527767]
  本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。 教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。 学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
  論文  参考訳（メタデータ） (2021-12-02T04:23:34Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• Rethinking Curriculum Learning with Incremental Labels and Adaptive Compensation [35.593312267921256]
  人間と同様に、ディープネットワークは、サンプルが組織化され、意味のある順序やカリキュラムで導入されたときに、よりよく学習することが示されている。 インクリメンタルラベルと適応補償を用いた学習(LILAC)を提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。