論文の概要: Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation

• arxiv url: http://arxiv.org/abs/2111.02042v1
• Date: Wed, 3 Nov 2021 07:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 20:44:55.201399
• Title: Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
• Title（参考訳）: 視覚特徴表現のための自己監督パラダイムの最近の進歩
• Authors: Mrinal Anand, Aditya Garg
• Abstract要約: 教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
• 参考スコア（独自算出の注目度）: 0.41436032949434404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We witnessed a massive growth in the supervised learning paradigm in the past decade. Supervised learning requires a large amount of labeled data to reach state-of-the-art performance. However, labeling the samples requires a lot of human annotation. To avoid the cost of labeling data, self-supervised methods were proposed to make use of largely available unlabeled data. This study conducts a comprehensive and insightful survey and analysis of recent developments in the self-supervised paradigm for feature representation. In this paper, we investigate the factors affecting the usefulness of self-supervision under different settings. We present some of the key insights concerning two different approaches in self-supervision, generative and contrastive methods. We also investigate the limitations of supervised adversarial training and how self-supervision can help overcome those limitations. We then move on to discuss the limitations and challenges in effectively using self-supervision for visual tasks. Finally, we highlight some open problems and point out future research directions.
• Abstract（参考訳）: 私たちは過去10年で教師付き学習パラダイムが大幅に成長しているのを目撃しました。 教師あり学習は、最先端のパフォーマンスに達するために大量のラベル付きデータを必要とする。 しかし、サンプルのラベル付けには多くの人的アノテーションが必要です。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける最近の展開に関する包括的かつ洞察的な調査と分析を行う。 本稿では,異なる環境下での自己監督の有用性に影響を及ぼす要因について検討する。 本稿では,自己スーパービジョン,生成的および対比的手法における2つのアプローチに関する重要な知見を紹介する。 また,教師付き対人訓練の限界と,その限界を克服するための自己監督方法についても検討した。 次に,視覚タスクに自己スーパービジョンを効果的に使用する際の限界と課題について論じる。 最後に、いくつかのオープンな問題を取り上げ、今後の研究の方向性を指摘する。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models [7.742594744641462]
  機械学習の目的は、よく訓練されたモデルで残りのデータセットのデータを保存しながら、忘れられたデータから派生した情報を削除することである。 本研究では,アンラーニングプロセス中にラベルを必要とせずに,教師なしのアンラーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-31T00:29:00Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Attention-based Contrastive Learning for Winograd Schemas [27.11678023496321]
  本稿では, コントラスト学習をトランスフォーマーに拡張して, ウィノグラードチャレンジに挑戦できるかを検討する。 本稿では, 自己意識のレベルにおいて, コントラスト的損失を直接活用する, 新たな自己監督フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-10T21:10:22Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection [15.36713547251997]
  UADタスクのための新しいスムーズな自己意識(SSA)モジュールを備えた自己教師付きコントラスト学習フレームワークとアテンションベースモデルを提案する。 提案手法は, 公開されているベンチマークユーザレビューデータセットにおいて, 教師なし, 弱教師付きアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-18T22:13:49Z)
• Self-supervised Learning: Generative or Contrastive [16.326494162366973]
  自己指導型学習は近年,表現型学習の性能向上に寄与している。 我々は、コンピュータビジョン、自然言語処理、グラフ学習における表現のための新しい自己教師付き学習手法について検討する。
  論文  参考訳（メタデータ） (2020-06-15T08:40:03Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。