論文の概要: MOMA:Distill from Self-Supervised Teachers

• arxiv url: http://arxiv.org/abs/2302.02089v1
• Date: Sat, 4 Feb 2023 04:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 20:24:35.329491
• Title: MOMA:Distill from Self-Supervised Teachers
• Title（参考訳）: MOMA:自己監督型教員から学ぶ
• Authors: Yuchong Yao, Nandakishor Desai, Marimuthu Palaniswami
• Abstract要約: 我々は,事前学習したMoCoとMAEを自己指導的に蒸留し,両者のパラダイムから知識を抽出するMOMAを提案する。 実験では、MOMAは既存の最先端手法に匹敵する性能のコンパクトな学生モデルを提供している。
• 参考スコア（独自算出の注目度）: 6.737710830712818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive Learning and Masked Image Modelling have demonstrated exceptional performance on self-supervised representation learning, where Momentum Contrast (i.e., MoCo) and Masked AutoEncoder (i.e., MAE) are the state-of-the-art, respectively. In this work, we propose MOMA to distill from pre-trained MoCo and MAE in a self-supervised manner to collaborate the knowledge from both paradigms. We introduce three different mechanisms of knowledge transfer in the propsoed MOMA framework. : (1) Distill pre-trained MoCo to MAE. (2) Distill pre-trained MAE to MoCo (3) Distill pre-trained MoCo and MAE to a random initialized student. During the distillation, the teacher and the student are fed with original inputs and masked inputs, respectively. The learning is enabled by aligning the normalized representations from the teacher and the projected representations from the student. This simple design leads to efficient computation with extremely high mask ratio and dramatically reduced training epochs, and does not require extra considerations on the distillation target. The experiments show MOMA delivers compact student models with comparable performance to existing state-of-the-art methods, combining the power of both self-supervised learning paradigms. It presents competitive results against different benchmarks in computer vision. We hope our method provides an insight on transferring and adapting the knowledge from large-scale pre-trained models in a computationally efficient way.
• Abstract（参考訳）: コントラスト学習とマスク画像モデリングは、それぞれモーメントコントラスト(moco)とマスクオートエンコーダ(mae)が最先端である自己教師あり表現学習において、例外的な性能を示している。 本研究では,MoCoとMAEを自己指導的に蒸留し,両方のパラダイムから知識を抽出する手法を提案する。 提案するMOMAフレームワークに3つの異なる知識伝達機構を導入する。 1) 予備訓練したMoCoをMAEに希釈する。 2) MoCo と MoCo を蒸留した MAE と MoCo と MAE を無作為初期化学生に希釈した。 蒸留中、教師と生徒は、それぞれオリジナルの入力とマスクされた入力を供給される。 教師の正規化表現と生徒の投影表現とを整合させることにより学習を可能にする。 この単純な設計は、非常に高いマスク比と劇的に訓練エポックスを低減した効率的な計算をもたらし、蒸留ターゲットに余分な配慮は必要としない。 この実験は、MOMAが既存の最先端の手法に匹敵する性能を持つコンパクトな学生モデルを提供し、双方の自己教師付き学習パラダイムのパワーを組み合わせていることを示している。 コンピュータビジョンにおける様々なベンチマークに対する競合結果を示す。 本手法は,大規模事前学習モデルからの知識の伝達と適応に関する知見を,計算的に効率的な方法で提供することを願っている。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Mixed Autoencoder for Self-supervised Visual Representation Learning [95.98114940999653]
  Masked Autoencoder (MAE) は、画像パッチと再構成をランダムにマスキングすることで、様々な視覚タスクにおいて優れた性能を示す。 本稿では,MAEのミキシング強化について検討する。
  論文  参考訳（メタデータ） (2023-03-30T05:19:43Z)
• Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
  蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。 提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-02-24T17:15:39Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Exploring Target Representations for Masked Autoencoders [78.57196600585462]
  目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。 本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。 自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T16:55:19Z)
• MimCo: Masked Image Modeling Pre-training with Contrastive Teacher [14.413674270588023]
  Masked Image Modeling (MIM) は自己教師型学習 (SSL) において多くの注目を集めている。 可視化は、学習された表現は、特に対照的な学習事前学習に基づく表現に比べて分離しにくいことを示している。 そこで本研究では,MIMと2段階事前学習によるコントラスト学習を組み合わせた,新しい,フレキシブルな事前学習フレームワークMimCoを提案する。
  論文  参考訳（メタデータ） (2022-09-07T10:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。