論文の概要: Establishing a stronger baseline for lightweight contrastive models

• arxiv url: http://arxiv.org/abs/2212.07158v2
• Date: Mon, 17 Jul 2023 15:45:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 23:37:53.270929
• Title: Establishing a stronger baseline for lightweight contrastive models
• Title（参考訳）: 軽量コントラストモデルのためのより強固なベースラインの確立
• Authors: Wenye Lin, Yifeng Ding, Zhixiong Cao, Hai-tao Zheng
• Abstract要約: 最近の研究は、特別に設計された効率的なネットワークのための自己指導型コントラスト学習の性能劣化を報告している。 一般的な実践は、事前訓練された対照的な教師モデルを導入し、教師が生成した蒸留信号で軽量ネットワークを訓練することである。 本研究では,教師モデルの事前学習を使わずに,軽量コントラストモデルのための強力なベースラインを確立することを目的とする。
• 参考スコア（独自算出の注目度）: 10.63129923292905
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent research has reported a performance degradation in self-supervised contrastive learning for specially designed efficient networks, such as MobileNet and EfficientNet. A common practice to address this problem is to introduce a pretrained contrastive teacher model and train the lightweight networks with distillation signals generated by the teacher. However, it is time and resource consuming to pretrain a teacher model when it is not available. In this work, we aim to establish a stronger baseline for lightweight contrastive models without using a pretrained teacher model. Specifically, we show that the optimal recipe for efficient models is different from that of larger models, and using the same training settings as ResNet50, as previous research does, is inappropriate. Additionally, we observe a common issu e in contrastive learning where either the positive or negative views can be noisy, and propose a smoothed version of InfoNCE loss to alleviate this problem. As a result, we successfully improve the linear evaluation results from 36.3\% to 62.3\% for MobileNet-V3-Large and from 42.2\% to 65.8\% for EfficientNet-B0 on ImageNet, closing the accuracy gap to ResNet50 with $5\times$ fewer parameters. We hope our research will facilitate the usage of lightweight contrastive models.
• Abstract（参考訳）: 最近の研究では、mobilenet や efficientnet のような特別に設計された効率的なネットワークにおける自己教師付きコントラスト学習の性能低下が報告されている。 この問題に対処する一般的な方法は、事前訓練されたコントラスト教師モデルを導入し、教師が生成した蒸留信号を用いて軽量ネットワークを訓練することである。 しかし、教師モデルが利用できない場合には、事前訓練に時間とリソースがかかります。 本研究では,教師モデルの事前学習を使わずに,軽量コントラストモデルのための強力なベースラインを確立することを目的とする。 特に、効率的なモデルの最適なレシピは、より大きなモデルのレシピと異なり、resnet50と同じトレーニング設定を使うことは、以前の研究と同様に不適切であることを示す。 さらに,肯定的,否定的いずれの視点でもノイズが発生するようなコントラスト学習において共通issu eを観測し,この問題を緩和するために情報損失の平滑化バージョンを提案する。 その結果, mobilenet-v3-largeでは36.3\%から62.3\%に,imagenetでは42.2\%から65.8\%に,resnet50では5\times$のパラメータで精度ギャップを解消した。 私たちの研究が軽量コントラストモデルの利用を促進することを期待しています。

関連論文リスト

• Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning [0.0]
  本研究では,教師のプロジェクションヘッドを学生に再利用するtextscRetroを提案する。 実験結果から, 軽量モデルにおける最先端モデルに対して, 大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-24T07:53:09Z)
• A Light-weight Deep Learning Model for Remote Sensing Image Classification [70.66164876551674]
  リモートセンシング画像分類(RSIC)のための高性能で軽量なディープラーニングモデルを提案する。 NWPU-RESISC45ベンチマークで広範な実験を行うことで、提案した教師学生モデルは最先端システムより優れている。
  論文  参考訳（メタデータ） (2023-02-25T09:02:01Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)
• Beyond Self-Supervision: A Simple Yet Effective Network Distillation Alternative to Improve Backbones [40.33419553042038]
  既製のトレーニング済み大型モデルからナレッジ蒸留による既存ベースラインネットワークの改善を提案します。 本ソリューションは,教師モデルと整合した学生モデルの予測のみを駆動することにより,蒸留を行う。 例えば、MobileNetV3-large と ResNet50-D の ImageNet-1k 検証セットにおけるトップ-1 の精度は、大幅に向上できる。
  論文  参考訳（メタデータ） (2021-03-10T09:32:44Z)
• SEED: Self-supervised Distillation For Visual Representation [34.63488756535054]
  SEED(Self-SupErvised Distillation)と呼ばれる新しい学習パラダイムを提案し、自己監督的な方法でその表現的知識を小さなアーキテクチャ(学生)に転送します。 私達はSEEDが下流の仕事の小さいネットワークの性能を劇的に高めることを示します。
  論文  参考訳（メタデータ） (2021-01-12T20:04:50Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。