論文の概要: Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?

• arxiv url: http://arxiv.org/abs/2201.05119v1
• Date: Thu, 13 Jan 2022 18:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-14 13:50:26.334677
• Title: Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
• Title（参考訳）: 自己教師型ResNetの限界を押し上げる:ImageNetのラベルなしで教師型学習より優れているか?
• Authors: Nenad Tomasev, Ioana Bica, Brian McWilliams, Lars Buesing, Razvan Pascanu, Charles Blundell, Jovana Mitrovic
• Abstract要約: Relicv2は、教師付きベースラインを類似した比較で一貫して上回る最初の表現学習法である。 ResNetエンコーダを使用しているにもかかわらず、Relicv2は最先端の自己教師型視覚変換器と同等であることを示す。
• 参考スコア（独自算出の注目度）: 35.98841834512082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent progress made by self-supervised methods in representation learning with residual networks, they still underperform supervised learning on the ImageNet classification benchmark, limiting their applicability in performance-critical settings. Building on prior theoretical insights from Mitrovic et al., 2021, we propose ReLICv2 which combines an explicit invariance loss with a contrastive objective over a varied set of appropriately constructed data views. ReLICv2 achieves 77.1% top-1 classification accuracy on ImageNet using linear evaluation with a ResNet50 architecture and 80.6% with larger ResNet models, outperforming previous state-of-the-art self-supervised approaches by a wide margin. Most notably, ReLICv2 is the first representation learning method to consistently outperform the supervised baseline in a like-for-like comparison using a range of standard ResNet architectures. Finally we show that despite using ResNet encoders, ReLICv2 is comparable to state-of-the-art self-supervised vision transformers.
• Abstract（参考訳）: 残差ネットワークを用いた表現学習における自己教師あり手法による最近の進歩にもかかわらず、imagenet分類ベンチマークでは教師あり学習を過小評価しており、パフォーマンスクリティカルな設定での適用性は制限されている。 mitrovic et al., 2021 による事前の理論的な知見に基づいて, 適切に構築されたデータビューの多様な集合に対する明示的な不変損失と対比目的を組み合わせた relicv2 を提案する。 relicv2は、resnet50アーキテクチャによる線形評価とより大きなresnetモデルによる80.6%を用いて、imagenetの77.1%のtop-1分類精度を達成している。 最も注目すべきは、Relicv2は、標準のResNetアーキテクチャを使って、教師付きベースラインをそのまま比較する最初の表現学習手法である。 最後に、ResNetエンコーダを使っているにもかかわらず、Relicv2は最先端の自己監督型視覚変換器と同等であることを示す。

関連論文リスト

• ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
  完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。 この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
  論文  参考訳（メタデータ） (2023-01-02T18:59:31Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• m-RevNet: Deep Reversible Neural Networks with Momentum [25.609808975649624]
  本稿では,m-RevNetと呼ばれる可逆ニューラルネットワークを提案する。 ある種の学習シナリオでは、標準的なResNetが失敗しながらm-RevNetが成功することを分析的に実証的に明らかにします。
  論文  参考訳（メタデータ） (2021-08-12T17:14:32Z)
• Revisiting ResNets: Improved Training and Scaling Strategies [54.0162571976267]
  トレーニングとスケーリングの戦略は、アーキテクチャの変更よりも重要であり、その結果、ResNetは最新のモデルと一致します。 ベストパフォーマンスなスケーリング戦略は、トレーニング体制に依存することを示します。 私たちは、ResNetアーキテクチャのファミリー、ResNet-RSを設計します。ResNet-RSは、TPU上のEfficientNetsよりも1.7倍 - 2.7倍高速です。
  論文  参考訳（メタデータ） (2021-03-13T00:18:19Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
  本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。 我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。 我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-02-13T18:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。