論文の概要: Masking meets Supervision: A Strong Learning Alliance

• arxiv url: http://arxiv.org/abs/2306.11339v3
• Date: Tue, 25 Mar 2025 07:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:20.435480
• Title: Masking meets Supervision: A Strong Learning Alliance
• Title（参考訳）: MaskingがSupervisionに - 強力な学習アライアンス
• Authors: Byeongho Heo, Taekyung Kim, Sangdoo Yun, Dongyoon Han,
• Abstract要約: Masked Sub-branch (MaskSub) と呼ばれるマスク強化を取り入れた新しい手法を提案する。 メインブランチは通常のトレーニングレシピを実行し、サブブランチはトレーニング中に集中的なマスク強化を行う。 MaskSubは、自己蒸留損失と同様の緩和された損失関数を通じて悪影響を緩和することで、この課題に取り組む。
• 参考スコア（独自算出の注目度）: 45.04910405404371
• License:
• Abstract: Pre-training with random masked inputs has emerged as a novel trend in self-supervised training. However, supervised learning still faces a challenge in adopting masking augmentations, primarily due to unstable training. In this paper, we propose a novel way to involve masking augmentations dubbed Masked Sub-branch (MaskSub). MaskSub consists of the main-branch and sub-branch, the latter being a part of the former. The main-branch undergoes conventional training recipes, while the sub-branch merits intensive masking augmentations, during training. MaskSub tackles the challenge by mitigating adverse effects through a relaxed loss function similar to a self-distillation loss. Our analysis shows that MaskSub improves performance, with the training loss converging faster than in standard training, which suggests our method stabilizes the training process. We further validate MaskSub across diverse training scenarios and models, including DeiT-III training, MAE finetuning, CLIP finetuning, BERT training, and hierarchical architectures (ResNet and Swin Transformer). Our results show that MaskSub consistently achieves impressive performance gains across all the cases. MaskSub provides a practical and effective solution for introducing additional regularization under various training recipes. Code available at https://github.com/naver-ai/augsub
• Abstract（参考訳）: ランダムなマスク入力による事前トレーニングは、自己指導型トレーニングの新たなトレンドとして現れている。 しかし、教師付き学習は、主に不安定なトレーニングのために、マスク強化を採用する上で依然として課題に直面している。 本稿では,マスクサブブランチ (Masked Sub-branch, MaskSub) と呼ばれるマスク強化を取り入れた新しい手法を提案する。 MaskSubはメインブランチとサブブランチで構成され、後者は前のブランチの一部である。 メインブランチは通常のトレーニングレシピを実行し、サブブランチはトレーニング中に集中的なマスク強化を行う。 MaskSubは、自己蒸留損失と同様の緩和された損失関数を通じて悪影響を緩和することで、この課題に取り組む。 分析の結果,MaskSubはトレーニングプロセスの安定化を示唆し,トレーニングの損失が標準トレーニングよりも早く収束していることが示唆された。 DeiT-IIIのトレーニング、MAEの微調整、CLIPの微調整、BERTのトレーニング、階層アーキテクチャ(ResNetとSwin Transformer)などです。 以上の結果から,MaskSubはすべてのケースにおいて,常に優れたパフォーマンス向上を実現していることがわかった。 MaskSubは、様々なトレーニングレシピの下で追加の正規化を導入するための実用的で効果的なソリューションを提供する。 https://github.com/naver-ai/augsub

関連論文リスト

• Task-Informed Anti-Curriculum by Masking Improves Downstream Performance on Text [27.320746607958142]
  マスケッド言語モデリングは、事前訓練言語モデルの教師なし手法として広く採用されている。 本稿では,新しいタスク情報を用いた反カリキュラム学習手法に基づいて,マスキング率を調整し,マスクするトークンを決定することを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:36:16Z)
• AnatoMask: Enhancing Medical Image Segmentation with Reconstruction-guided Self-masking [5.844539603252746]
  Masked Image Modeling (MIM) は、ランダムにマスキングされた画像を再構成し、詳細な表現を学習することで効果を示した。 解剖学的に重要な領域を動的に識別・隠蔽するために再構成損失を利用した新しいMIM手法であるAnatoMaskを提案する。
  論文  参考訳（メタデータ） (2024-07-09T00:15:52Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Difference-Masking: Choosing What to Mask in Continued Pretraining [56.76782116221438]
  本研究では,事前訓練中のマスクを自動的に選択するマスキング戦略である差分マスキングを導入する。 差分マスキングは、4つの言語のみ、マルチモーダルなビデオタスクにおいて、継続した事前学習設定のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-23T23:31:02Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。