論文の概要: Augmenting Sub-model to Improve Main Model

• arxiv url: http://arxiv.org/abs/2306.11339v1
• Date: Tue, 20 Jun 2023 07:17:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 15:23:46.045052
• Title: Augmenting Sub-model to Improve Main Model
• Title（参考訳）: 主モデルを改善するサブモデルの拡張
• Authors: Byeongho Heo, Taekyung Kim, Sangdoo Yun, Dongyoon Han
• Abstract要約: AugSub (Augmenting Sub-model) と呼ばれる新しい正規化手法を提案する。 ドロップアウト,ドロップパス,ランダムマスキングの3つの手法を用いて,AugSubの有効性を実証した。 分析の結果、AugSubはすべてパフォーマンスが向上し、トレーニング損失は通常のトレーニングよりも早く収束することがわかった。
• 参考スコア（独自算出の注目度）: 33.777579147342415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image classification has improved with the development of training techniques. However, these techniques often require careful parameter tuning to balance the strength of regularization, limiting their potential benefits. In this paper, we propose a novel way to use regularization called Augmenting Sub-model (AugSub). AugSub consists of two models: the main model and the sub-model. While the main model employs conventional training recipes, the sub-model leverages the benefit of additional regularization. AugSub achieves this by mitigating adverse effects through a relaxed loss function similar to self-distillation loss. We demonstrate the effectiveness of AugSub with three drop techniques: dropout, drop-path, and random masking. Our analysis shows that all AugSub improves performance, with the training loss converging even faster than regular training. Among the three, AugMask is identified as the most practical method due to its performance and cost efficiency. We further validate AugMask across diverse training recipes, including DeiT-III, ResNet, MAE fine-tuning, and Swin Transformer. The results show that AugMask consistently provides significant performance gain. AugSub provides a practical and effective solution for introducing additional regularization under various training recipes. Code is available at \url{https://github.com/naver-ai/augsub}.
• Abstract（参考訳）: 画像分類は訓練技術の発展により改善されている。 しかし、これらの手法は正規化の強さのバランスをとるために注意深いパラメータチューニングを必要とし、その潜在的な利点を制限している。 本稿では,augmenting sub-model (augsub) と呼ばれる正規化を用いた新しい手法を提案する。 AugSubはメインモデルとサブモデルという2つのモデルで構成されている。 メインモデルは従来のトレーニングレシピを採用しているが、サブモデルは追加の正規化の利点を利用する。 augsubは、自己蒸留損失と同様の緩和損失関数によって副作用を緩和することでこれを達成する。 ドロップアウト,ドロップパス,ランダムマスキングの3つの手法を用いてAugSubの有効性を示す。 分析の結果,augsubは性能が向上し,トレーニング損失は通常のトレーニングよりもさらに高速に収束することが示された。 この3つのうち augmask は性能とコスト効率の点で最も実用的な方法である。 DeiT-III, ResNet, MAEファインチューニング, Swin Transformerなど,さまざまなトレーニングレシピでAugMaskを検証する。 その結果、AugMaskは一貫して大きなパフォーマンス向上をもたらしている。 AugSubは、様々なトレーニングレシピの下で追加の正規化を導入するための実用的で効果的なソリューションを提供する。 コードは \url{https://github.com/naver-ai/augsub} で入手できる。

関連論文リスト

• AnatoMask: Enhancing Medical Image Segmentation with Reconstruction-guided Self-masking [5.844539603252746]
  Masked Image Modeling (MIM) は、ランダムにマスキングされた画像を再構成し、詳細な表現を学習することで効果を示した。 解剖学的に重要な領域を動的に識別・隠蔽するために再構成損失を利用した新しいMIM手法であるAnatoMaskを提案する。
  論文  参考訳（メタデータ） (2024-07-09T00:15:52Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Difference-Masking: Choosing What to Mask in Continued Pretraining [56.76782116221438]
  本研究では,事前訓練中のマスクを自動的に選択するマスキング戦略である差分マスキングを導入する。 差分マスキングは、4つの言語のみ、マルチモーダルなビデオタスクにおいて、継続した事前学習設定のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-23T23:31:02Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• What to Hide from Your Students: Attention-Guided Masked Image Modeling [32.402567373491834]
  画像トークンマスキングは、テキストのトークンマスキングと根本的に異なる。 注意誘導マスキング(AttMask)と呼ばれる新しいマスキング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-23T20:52:50Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。