論文の概要: How Well Do Self-Supervised Models Transfer?

• arxiv url: http://arxiv.org/abs/2011.13377v2
• Date: Mon, 29 Mar 2021 13:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 09:14:30.697007
• Title: How Well Do Self-Supervised Models Transfer?
• Title（参考訳）: 自己監督型モデル転送はどの程度うまく行うか?
• Authors: Linus Ericsson, Henry Gouk and Timothy M. Hospedales
• Abstract要約: 我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
• 参考スコア（独自算出の注目度）: 92.16372657233394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised visual representation learning has seen huge progress recently, but no large scale evaluation has compared the many models now available. We evaluate the transfer performance of 13 top self-supervised models on 40 downstream tasks, including many-shot and few-shot recognition, object detection, and dense prediction. We compare their performance to a supervised baseline and show that on most tasks the best self-supervised models outperform supervision, confirming the recently observed trend in the literature. We find ImageNet Top-1 accuracy to be highly correlated with transfer to many-shot recognition, but increasingly less so for few-shot, object detection and dense prediction. No single self-supervised method dominates overall, suggesting that universal pre-training is still unsolved. Our analysis of features suggests that top self-supervised learners fail to preserve colour information as well as supervised alternatives, but tend to induce better classifier calibration, and less attentive overfitting than supervised learners.
• Abstract（参考訳）: 自己教師付き視覚表現学習は近年大きな進歩を遂げているが、現在利用可能な多くのモデルと比較した大規模な評価は行われていない。 我々は,40の下流タスクにおける13の上位自己教師型モデルの転送性能を評価し,多ショット・少数ショット認識,オブジェクト検出,高密度予測を行った。 それらの性能を教師付きベースラインと比較し、ほとんどのタスクにおいて最高の自己監督モデルが監督を上回り、最近の文献の傾向を確認する。 ImageNet Top-1の精度は、マルチショット認識への転送と高い相関性があるが、少数ショット、オブジェクト検出、および高密度予測ではますます低下している。 単一の自己教師方式が全体を支配することはなく、普遍的な事前訓練はまだ未解決であることを示唆している。 特徴分析の結果,トップの自己指導型学習者はカラー情報や指導型代替品の保存に失敗するが,分類器の校正精度は向上し,教師型学習者に比べて注意力の過度さが低下する傾向が示唆された。

関連論文リスト

• How Close are Other Computer Vision Tasks to Deepfake Detection? [42.79190870582115]
  教師なしの方法でデータを分離するために,モデルの生容量を評価するための新しい測定手法「モデル分離可能性」を提案する。 分析の結果,事前学習した顔認識モデルは,他のモデルよりもディープフェイク検出と密接な関係があることが判明した。 自己教師型モデルは最高の結果をもたらすが、過度に適合するリスクがある。
  論文  参考訳（メタデータ） (2023-10-02T06:32:35Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• Diverse Imagenet Models Transfer Better [10.6046072921331]
  モデルにより学習される特徴の多様さは、画像ネットの精度と共同で転送可能性を促進することを示す。 本稿では,自己教師と教師付き事前学習を組み合わせたモデル生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-19T21:26:58Z)
• Task-Agnostic Robust Representation Learning [31.818269301504564]
  本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。 我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。 本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
  論文  参考訳（メタデータ） (2022-03-15T02:05:11Z)
• Revisiting Weakly Supervised Pre-Training of Visual Perception Models [27.95816470075203]
  大規模で弱い教師付き事前訓練は、完全に教師付きアプローチよりも優れている。 本稿では,ハッシュタグによるモデル事前学習の弱さを再考する。 本研究は,視覚認識システム開発における弱教師付き学習の活用について,説得力のある議論を提起する。
  論文  参考訳（メタデータ） (2022-01-20T18:55:06Z)
• SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
  自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。 自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2021-12-23T18:07:13Z)
• On visual self-supervision and its effect on model robustness [9.313899406300644]
  自己監督はモデルロバスト性を改善することができるが、悪魔が細部にあることが判明した。 自己監督型プレトレーニングは, 対人訓練の改善に効果があるが, 自己監督型プレトレーニングを対人訓練に組み込んだ場合, モデル堅牢性や精度には何の利益も与えない。
  論文  参考訳（メタデータ） (2021-12-08T16:22:02Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。