論文の概要: Masking Augmentation for Supervised Learning

• arxiv url: http://arxiv.org/abs/2306.11339v2
• Date: Tue, 27 Feb 2024 04:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 22:47:38.240390
• Title: Masking Augmentation for Supervised Learning
• Title（参考訳）: 教師付き学習のためのマスキング強化
• Authors: Byeongho Heo, Taekyung Kim, Sangdoo Yun, Dongyoon Han
• Abstract要約: Masked Sub-model (MaskSub) と呼ばれるマスク強化を含む新しい手法を提案する。 MaskSubは、自己蒸留損失に似た緩和された損失関数を通じて副作用を緩和することで、この課題に対処する。 DeiT-III, MAEファインチューニング, CLIPファインチューニング, ResNet, Swin Transformer など,さまざまなトレーニングレシピやモデルの MaskSub を検証する。
• 参考スコア（独自算出の注目度）: 49.21290987347338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training using random masking has emerged as a novel trend in training techniques. However, supervised learning faces a challenge in adopting masking augmentations, primarily due to unstable training. In this paper, we propose a novel way to involve masking augmentations dubbed Masked Sub-model (MaskSub). MaskSub consists of the main-model and sub-model; while the former enjoys conventional training recipes, the latter leverages the benefit of strong masking augmentations in training. MaskSub addresses the challenge by mitigating adverse effects through a relaxed loss function similar to a self-distillation loss. Our analysis shows that MaskSub improves performance, with the training loss converging even faster than regular training, which suggests our method facilitates training. We further validate MaskSub across diverse training recipes and models, including DeiT-III, MAE fine-tuning, CLIP fine-tuning, ResNet, and Swin Transformer. Our results show that MaskSub consistently provides significant performance gains across all the cases. MaskSub provides a practical and effective solution for introducing additional regularization under various training recipes. Code available at https://github.com/naver-ai/augsub
• Abstract（参考訳）: ランダムマスキングを用いた事前トレーニングは、トレーニング技術の新たなトレンドとして現れている。 しかしながら、教師付き学習は、主に不安定なトレーニングのために、マスキング強化を採用するという課題に直面している。 本稿では,masksub (masked sub-model) と呼ばれるマスキング拡張を含む新しい手法を提案する。 MaskSubはメインモデルとサブモデルで構成され、前者は通常のトレーニングレシピを楽しみ、後者はトレーニングにおける強力なマスキング強化の利点を活用する。 MaskSubは、自己蒸留損失に似た緩和された損失関数を通じて副作用を緩和することで、この課題に対処する。 分析の結果,MaskSubはトレーニングの損失が通常のトレーニングよりも早く収束し,パフォーマンスが向上することが示唆された。 さらに、DeiT-III、MAEファインチューニング、CLIPファインチューニング、ResNet、Swin Transformerなど、さまざまなトレーニングレシピやモデルのMaskSubを検証する。 masksubは,すべてのケースにおいて,一貫して大幅なパフォーマンス向上を実現しています。 MaskSubは、様々なトレーニングレシピの下で追加の正規化を導入するための実用的で効果的なソリューションを提供する。 コードはhttps://github.com/naver-ai/augsubで利用可能

関連論文リスト

• AnatoMask: Enhancing Medical Image Segmentation with Reconstruction-guided Self-masking [5.844539603252746]
  Masked Image Modeling (MIM) は、ランダムにマスキングされた画像を再構成し、詳細な表現を学習することで効果を示した。 解剖学的に重要な領域を動的に識別・隠蔽するために再構成損失を利用した新しいMIM手法であるAnatoMaskを提案する。
  論文  参考訳（メタデータ） (2024-07-09T00:15:52Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Difference-Masking: Choosing What to Mask in Continued Pretraining [56.76782116221438]
  本研究では,事前訓練中のマスクを自動的に選択するマスキング戦略である差分マスキングを導入する。 差分マスキングは、4つの言語のみ、マルチモーダルなビデオタスクにおいて、継続した事前学習設定のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-23T23:31:02Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• What to Hide from Your Students: Attention-Guided Masked Image Modeling [32.402567373491834]
  画像トークンマスキングは、テキストのトークンマスキングと根本的に異なる。 注意誘導マスキング(AttMask)と呼ばれる新しいマスキング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-23T20:52:50Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。