論文の概要: Cross-Architectural Positive Pairs improve the effectiveness of
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2301.12025v1
- Date: Fri, 27 Jan 2023 23:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 19:42:34.337260
- Title: Cross-Architectural Positive Pairs improve the effectiveness of
Self-Supervised Learning
- Title（参考訳）: アーキテクチャ横断型ポジティブペアは自己監督型学習の有効性を改善する
- Authors: Pranav Singh and Jacopo Cirrone
- Abstract要約: Cross Architectural - Self Supervision (CASS)は、TransformerとCNNを同時に活用する、新しい自己教師型学習アプローチである。
CASSでトレーニングされたCNNとTransformerは、4つの多様なデータセットにまたがって平均3.8%のラベル付きデータを得た。
また、CASSは、既存の最先端の自己教師型学習アプローチよりも、バッチサイズやトレーニングエポックの変化に対して、はるかに堅牢であることも示しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing self-supervised techniques have extreme computational requirements
and suffer a substantial drop in performance with a reduction in batch size or
pretraining epochs. This paper presents Cross Architectural - Self Supervision
(CASS), a novel self-supervised learning approach that leverages Transformer
and CNN simultaneously. Compared to the existing state-of-the-art
self-supervised learning approaches, we empirically show that CASS-trained CNNs
and Transformers across four diverse datasets gained an average of 3.8% with 1%
labeled data, 5.9% with 10% labeled data, and 10.13% with 100% labeled data
while taking 69% less time. We also show that CASS is much more robust to
changes in batch size and training epochs than existing state-of-the-art
self-supervised learning approaches. We have open-sourced our code at
https://github.com/pranavsinghps1/CASS.
- Abstract（参考訳）: 既存の自己教師技術は極端な計算要件を持ち、バッチサイズや事前学習期間の短縮によって性能が大幅に低下する。
本稿では,TransformerとCNNを同時に活用する自己教師型学習手法であるCross Architectural - Self Supervision (CASS)を提案する。
既存の最先端の自己教師付き学習手法と比較して,4つの多様なデータセットにまたがるcass訓練されたcnnとトランスフォーマーが平均3.8%,1%のラベル付きデータ,5.9%の10%のラベル付きデータ,10.13%の100%ラベル付きデータ,そして69%の時間を要することがわかった。
また、CASSは、既存の最先端の自己教師型学習アプローチよりも、バッチサイズやトレーニングエポックの変化に対して、はるかに堅牢であることを示す。
コードをhttps://github.com/pranavsinghps1/CASSでオープンソース化しました。
関連論文リスト
- Local Masking Meets Progressive Freezing: Crafting Efficient Vision
Transformers for Self-Supervised Learning [0.0]
視覚変換器(ViT)のための自己教師型学習への革新的アプローチを提案する。
本手法は, ViTにおける初期層トレーニングの効率化と高速化に重点を置いている。
提案手法は,初期層における効率的な学習を促進する,新しいマルチスケール再構築プロセスを採用する。
論文 参考訳（メタデータ） (2023-12-02T11:10:09Z) - Efficient Representation Learning for Healthcare with
Cross-Architectural Self-Supervision [5.439020425819001]
この課題に対応するために、クロスアーキテクチャー・セルフスーパービジョン(CASS)を紹介します。
そこで,CASSで訓練されたCNNとTransformerは,4つの多様な医療データセットにおいて,既存の自己教師型学習方法よりも優れていることを示す。
また、CASSはバッチサイズの変化やエポックの事前訓練にかなり堅牢であることを示し、医療アプリケーションにおける機械学習の候補として適している。
論文 参考訳（メタデータ） (2023-08-19T15:57:19Z) - Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。
我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。
包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
論文 参考訳（メタデータ） (2023-05-09T07:00:17Z) - Data-Efficient Augmentation for Training Neural Networks [15.870155099135538]
本稿では,データポイントのサブセットを選択するための厳密な手法を提案する。
SVHNのCIFAR10では6.3倍,SVHNでは2.2倍の高速化を実現し,様々なサブセットサイズでベースラインを最大10%向上させる。
論文 参考訳（メタデータ） (2022-10-15T19:32:20Z) - CASS: Cross Architectural Self-Supervision for Medical Image Analysis [0.0]
Cross Architectural Self-Supervisionは、トランスフォーマーとCNNを同時に活用する、新しい自己教師型学習アプローチである。
既存の最先端の自己教師型学習手法と比較して,CASSのトレーニング済みCNNを実証的に示し,トランスフォーマーは100%ラベル付きデータで平均8.5%を得た。
論文 参考訳（メタデータ） (2022-06-08T21:25:15Z) - Learning Rate Curriculum [75.98230528486401]
ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。
LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。
Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
論文 参考訳（メタデータ） (2022-05-18T18:57:36Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - SEED: Self-supervised Distillation For Visual Representation [34.63488756535054]
SEED(Self-SupErvised Distillation)と呼ばれる新しい学習パラダイムを提案し、自己監督的な方法でその表現的知識を小さなアーキテクチャ(学生)に転送します。
私達はSEEDが下流の仕事の小さいネットワークの性能を劇的に高めることを示します。
論文 参考訳（メタデータ） (2021-01-12T20:04:50Z) - CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。
複数のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-11-23T02:54:57Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Don't Wait, Just Weight: Improving Unsupervised Representations by
Learning Goal-Driven Instance Weights [92.16372657233394]
自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。
ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。
本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
論文 参考訳（メタデータ） (2020-06-22T15:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。