論文の概要: SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption

• arxiv url: http://arxiv.org/abs/2106.15147v1
• Date: Tue, 29 Jun 2021 08:08:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 04:19:12.443856
• Title: SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
• Title（参考訳）: SCARF:ランダム特徴破壊を用いた自己監督型コントラスト学習
• Authors: Dara Bahri, Heinrich Jiang, Yi Tay, Donald Metzler
• Abstract要約: 本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
• 参考スコア（独自算出の注目度）: 72.35532598131176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised contrastive representation learning has proved incredibly successful in the vision and natural language domains, enabling state-of-the-art performance with orders of magnitude less labeled data. However, such methods are domain-specific and little has been done to leverage this technique on real-world tabular datasets. We propose SCARF, a simple, widely-applicable technique for contrastive learning, where views are formed by corrupting a random subset of features. When applied to pre-train deep neural networks on the 69 real-world, tabular classification datasets from the OpenML-CC18 benchmark, SCARF not only improves classification accuracy in the fully-supervised setting but does so also in the presence of label noise and in the semi-supervised setting where only a fraction of the available training data is labeled. We show that SCARF complements existing strategies and outperforms alternatives like autoencoders. We conduct comprehensive ablations, detailing the importance of a range of factors.
• Abstract（参考訳）: 自己教師付きコントラスト表現学習は、視覚領域と自然言語領域で驚くほど成功し、ラベル付きデータの桁違いな順序で最先端のパフォーマンスを実現している。 しかし、そのような方法はドメイン固有であり、実世界の表型データセットでこのテクニックを活用するためにはほとんど行われていない。 そこで我々は,特徴のランダムなサブセットを乱してビューを形成する,単純な,広く適用可能なコントラスト学習手法であるSCARFを提案する。 69の現実世界の深層ニューラルネットワークに適用した場合、OpenML-CC18ベンチマークの表層分類データセットは、完全な教師付き設定における分類精度を向上するだけでなく、ラベルノイズの存在や、利用可能なトレーニングデータのごく一部がラベル付けされたセミ教師付き設定においても、SCARFが適用される。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。 我々は広範囲の因子の重要性を詳述し,包括的アブレーションを行う。

関連論文リスト

• A Self Supervised StyleGAN for Image Annotation and Classification with Extremely Limited Labels [35.43549147657739]
  画像アノテーションと分類のための自己教師型アプローチであるSS-StyleGANを提案する。 提案手法は,50と10の小さなラベル付きデータセットを用いて,強力な分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-26T09:46:50Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Learning Confident Classifiers in the Presence of Label Noise [5.829762367794509]
  本稿では,ノイズ観測のための確率論的モデルを提案し,信頼性の高い分類とセグメンテーションモデルの構築を可能にする。 実験により,本アルゴリズムは,検討された分類問題と分割問題に対して,最先端の解よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-02T04:27:25Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
  識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。 本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。 本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-21T07:41:27Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• Towards Context-Agnostic Learning Using Synthetic Data [5.892876463573452]
  入力領域は2つの集合の積上に定義された写像のイメージであり、そのうちの1つはラベルを完全に決定する。 バイアスとエラー項に分解し、真のラベルに対する驚くほど弱い依存を示すこの設定のために、我々は新しいリスクを導出する。 これらの結果から着想を得て,各集合から個別にサンプリングする能力を活用することにより,バイアス項の最小化を目的としたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-29T17:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。