論文の概要: Improving out-of-distribution generalization via multi-task self-supervised pretraining

• arxiv url: http://arxiv.org/abs/2003.13525v1
• Date: Mon, 30 Mar 2020 14:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:00:00.023347
• Title: Improving out-of-distribution generalization via multi-task self-supervised pretraining
• Title（参考訳）: マルチタスク自己教師付き事前学習による分散型一般化の改善
• Authors: Isabela Albuquerque, Nikhil Naik, Junnan Li, Nitish Keskar, and Richard Socher
• Abstract要約: 我々は,自己教師付き学習を用いて得られた特徴が,コンピュータビジョンにおける領域一般化のための教師付き学習に匹敵するか,それより優れていることを示す。 本稿では,Gaborフィルタバンクに対する応答を予測するための自己教師型プレテキストタスクを提案する。
• 参考スコア（独自算出の注目度）: 48.29123326140466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised feature representations have been shown to be useful for supervised classification, few-shot learning, and adversarial robustness. We show that features obtained using self-supervised learning are comparable to, or better than, supervised learning for domain generalization in computer vision. We introduce a new self-supervised pretext task of predicting responses to Gabor filter banks and demonstrate that multi-task learning of compatible pretext tasks improves domain generalization performance as compared to training individual tasks alone. Features learnt through self-supervision obtain better generalization to unseen domains when compared to their supervised counterpart when there is a larger domain shift between training and test distributions and even show better localization ability for objects of interest. Self-supervised feature representations can also be combined with other domain generalization methods to further boost performance.
• Abstract（参考訳）: 自己教師付き特徴表現は教師付き分類、少数ショット学習、敵対的ロバストネスに有用であることが示されている。 自己教師付き学習を用いて得られた機能は,コンピュータビジョンにおけるドメイン一般化のための教師付き学習に匹敵するか,あるいは優れているかを示す。 本稿では,gaborフィルタバンクに対する応答を予測する新しい自己教師付きプリテキストタスクを導入し,互換プリテキストタスクのマルチタスク学習により,個々のタスクのみのトレーニングに比べてドメイン一般化性能が向上することを示す。 自己スーパービジョンを通じて学習した特徴は、トレーニングとテストディストリビューションの間のドメインシフトが大きくなると、教師なしのドメインよりもより一般化され、興味のあるオブジェクトのローカライゼーション能力も向上する。 自己教師付き特徴表現は、パフォーマンスをさらに高めるために、他のドメイン一般化メソッドと組み合わせることもできる。

関連論文リスト

• Uniting contrastive and generative learning for event sequences models [51.547576949425604]
  本研究では,2つの自己指導型学習手法 – 例えば,コントラスト学習と,潜在空間におけるマスクイベントの復元に基づく生成的アプローチ – の統合について検討する。 いくつかの公開データセットで行った実験は、シーケンス分類と次点型予測に焦点を合わせ、統合された手法が個々の手法と比較して優れた性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-19T13:47:17Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization [12.892376738542383]
  本稿では,自己教師型話者表現学習を支援するための,効果的な自己教師型学習フレームワークと新たな正規化戦略を提案する。 我々の強力なオンラインデータ拡張戦略により、提案したSSRegは、負のペアを使わずに自己教師型学習の可能性を示している。 VoxCelebデータセットに関する総合的な実験は、提案した自己教師型アプローチが23.4%の相対的な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-12-08T18:41:19Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)
• Self-Supervised Learning Across Domains [33.86614301708017]
  本稿では,ドメイン間のオブジェクト認識の問題に対して,同様のアプローチを適用することを提案する。 モデルでは,教師付き方式でセマンティックラベルを学習し,同じ画像上の自己教師型信号から学習することで,データに対する理解を深める。 この二次的なタスクは、ネットワークが対象の形状、空間配向や部分相関といった概念を学ぶのに役立ち、分類タスクの正規化として機能する。
  論文  参考訳（メタデータ） (2020-07-24T06:19:53Z)
• Learning from Extrinsic and Intrinsic Supervisions for Domain Generalization [95.73898853032865]
  ドメイン間を同時に一般化する方法を学ぶための新しいドメイン一般化フレームワークを提案する。 提案手法の有効性を2つの標準オブジェクト認識ベンチマークで示す。
  論文  参考訳（メタデータ） (2020-07-18T03:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。