論文の概要: Self-supervised Learning: Generative or Contrastive

• arxiv url: http://arxiv.org/abs/2006.08218v5
• Date: Sat, 20 Mar 2021 05:07:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:57:25.571719
• Title: Self-supervised Learning: Generative or Contrastive
• Title（参考訳）: 自己指導型学習: 生成的あるいは矛盾的
• Authors: Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang
• Abstract要約: 自己指導型学習は近年,表現型学習の性能向上に寄与している。 我々は、コンピュータビジョン、自然言語処理、グラフ学習における表現のための新しい自己教師付き学習手法について検討する。
• 参考スコア（独自算出の注目度）: 16.326494162366973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep supervised learning has achieved great success in the last decade. However, its deficiencies of dependence on manual labels and vulnerability to attacks have driven people to explore a better solution. As an alternative, self-supervised learning attracts many researchers for its soaring performance on representation learning in the last several years. Self-supervised representation learning leverages input data itself as supervision and benefits almost all types of downstream tasks. In this survey, we take a look into new self-supervised learning methods for representation in computer vision, natural language processing, and graph learning. We comprehensively review the existing empirical methods and summarize them into three main categories according to their objectives: generative, contrastive, and generative-contrastive (adversarial). We further investigate related theoretical analysis work to provide deeper thoughts on how self-supervised learning works. Finally, we briefly discuss open problems and future directions for self-supervised learning. An outline slide for the survey is provided.
• Abstract（参考訳）: 深い教師付き学習はこの10年間で大きな成功を収めた。 しかし、手動ラベルへの依存度や攻撃に対する脆弱性の欠如は、より良い解決策を探求するきっかけとなった。 代わりに、自己教師付き学習は、過去数年間で表現学習に顕著な業績を残した多くの研究者を惹きつけている。 自己教師付き表現学習は、入力データ自体を監督として活用し、ほとんどすべての下流タスクの利点を享受する。 本研究では,コンピュータビジョン,自然言語処理,グラフ学習における表現のための自己教師あり学習手法について検討する。 本研究は,既存の経験的手法を包括的にレビューし,その目的に応じて3つの主要なカテゴリにまとめる。 自己教師付き学習の仕組みについてより深く考えるために,関連する理論解析研究をさらに検討する。 最後に,自己監督学習におけるオープン問題と今後の方向性について概説する。 調査の概要スライドが提供されている。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Unleash Model Potential: Bootstrapped Meta Self-supervised Learning [12.57396771974944]
  機械学習の長期的な目標は、監督なしで少数のデータから一般的な視覚表現を学習することである。 自己指導型学習とメタラーニングは、この目標を達成するための2つの有望なテクニックであるが、どちらもメリットを部分的に捉えているだけである。 本稿では,人間の学習過程をシミュレートすることを目的とした,ブートストラップ型メタ自己監視学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-28T02:49:07Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation [0.41436032949434404]
  教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
  論文  参考訳（メタデータ） (2021-11-03T07:02:34Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• Understand and Improve Contrastive Learning Methods for Visual Representation: A Review [1.4650545418986058]
  手動ラベリングなしで効果的なデータ表現を学習できる可能性から、有望な自己教師型学習が人気を集めている。 本文献レビューは, 自己指導型学習の鍵となる構成要素と限界を理解するための研究者の取り組みについて, 最新の分析を行うことを目的としている。
  論文  参考訳（メタデータ） (2021-06-06T21:59:49Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection [80.68446022994492]
  本研究では,未ラベルテキストコーパスを扱える教師なし学習パラダイムについて検討する。 我々のモデルは、自己学習の考え方を拡張する半教師あり学習アプローチである、雑音学習(Noisy Student Training)に関する最近の研究に基づいている。
  論文  参考訳（メタデータ） (2020-10-29T05:29:26Z)
• Self-Supervised Learning Across Domains [33.86614301708017]
  本稿では,ドメイン間のオブジェクト認識の問題に対して,同様のアプローチを適用することを提案する。 モデルでは,教師付き方式でセマンティックラベルを学習し,同じ画像上の自己教師型信号から学習することで,データに対する理解を深める。 この二次的なタスクは、ネットワークが対象の形状、空間配向や部分相関といった概念を学ぶのに役立ち、分類タスクの正規化として機能する。
  論文  参考訳（メタデータ） (2020-07-24T06:19:53Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。