論文の概要: Towards Good Practices in Self-supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2012.00868v1
• Date: Tue, 1 Dec 2020 22:13:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 22:17:36.998700
• Title: Towards Good Practices in Self-supervised Representation Learning
• Title（参考訳）: 自己指導型表現学習の実践に向けて
• Authors: Srikar Appalaraju, Yi Zhu, Yusheng Xie, Istv\'an Feh\'erv\'ari
• Abstract要約: 自己指導型表現学習はここ数年で顕著な進歩を遂げている。 対照的なインスタンス学習は、教師付き学習と比較すると印象的な結果を示している。 本稿は,その成功の背景にある謎のいくつかを解明することを目的としている。
• 参考スコア（独自算出の注目度）: 4.998725184473699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised representation learning has seen remarkable progress in the last few years. More recently, contrastive instance learning has shown impressive results compared to its supervised learning counterparts. However, even with the ever increased interest in contrastive instance learning, it is still largely unclear why these methods work so well. In this paper, we aim to unravel some of the mysteries behind their success, which are the good practices. Through an extensive empirical analysis, we hope to not only provide insights but also lay out a set of best practices that led to the success of recent work in self-supervised representation learning.
• Abstract（参考訳）: 自己指導型表現学習はここ数年で顕著な進歩を遂げている。 近年、対照的なインスタンス学習は、教師付き学習と比較すると印象的な結果を示している。 しかし、相反的なインスタンス学習への関心がますます高まっているにもかかわらず、これらの方法がなぜそんなにうまく機能するのかは、いまだによく分かっていない。 本稿では,その成功の背景にある謎のいくつかを明らかにすることを目的としている。 広範な実証分析を通じて、洞察を提供するだけでなく、近年の自己指導型表現学習の成功に繋がる一連のベストプラクティスを策定したいと考えています。

関連論文リスト

• LTRL: Boosting Long-tail Recognition via Reflective Learning [12.784186450718652]
  本稿では,ロングテール認識の処理において,リフレクション学習と呼ばれる新しい学習パラダイムを提案する。 本手法は,学習中の過去の予測の見直し,クラス間の特徴関係の要約と活用,損失関数の勾配競合の補正という3つのプロセスを統合する。
  論文  参考訳（メタデータ） (2024-07-17T13:51:49Z)
• Imitating Past Successes can be Very Suboptimal [145.70788608016755]
  既存の結果条件付き模倣学習手法が必ずしもポリシーを改善できないことを示す。 簡単な修正が、政策改善を保証する方法をもたらすことを示す。 我々の目的は、全く新しい方法を開発するのではなく、成果条件付き模倣学習の変種が報酬を最大化するためにどのように使用できるかを説明することである。
  論文  参考訳（メタデータ） (2022-06-07T15:13:43Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• Evaluating the Robustness of Self-Supervised Learning in Medical Imaging [57.20012795524752]
  自己監督は、小さな注釈付きデータセット上でターゲットタスクを訓練する際の効果的な学習戦略であることを示した。 本研究では,自己監視学習によって訓練されたネットワークが,医療画像の文脈における完全監視学習と比較して,堅牢性と汎用性に優れていることを示した。
  論文  参考訳（メタデータ） (2021-05-14T17:49:52Z)
• Rehearsal revealed: The limits and merits of revisiting samples in continual learning [43.40531878205344]
  我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
  論文  参考訳（メタデータ） (2021-04-15T13:28:14Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Self-supervised Learning: Generative or Contrastive [16.326494162366973]
  自己指導型学習は近年,表現型学習の性能向上に寄与している。 我々は、コンピュータビジョン、自然言語処理、グラフ学習における表現のための新しい自己教師付き学習手法について検討する。
  論文  参考訳（メタデータ） (2020-06-15T08:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。