論文の概要: Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration

• arxiv url: http://arxiv.org/abs/2112.08132v1
• Date: Wed, 15 Dec 2021 14:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 13:09:08.582470
• Title: Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration
• Title（参考訳）: unsupervised outlier arbitrationによる自己教師付き学習の改善
• Authors: Yu Wang and Jingyang Lin and Jingjing Zou and Yingwei Pan and Ting Yao and Tao Mei
• Abstract要約: 本稿では,自己教師型学習のためのビューサンプリング問題を対象とした,軽量潜在変数モデル UOTA を提案する。 本手法は,多くの主流な自己指導型学習手法に直接応用する。
• 参考スコア（独自算出の注目度）: 83.29856873525674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our work reveals a structured shortcoming of the existing mainstream self-supervised learning methods. Whereas self-supervised learning frameworks usually take the prevailing perfect instance level invariance hypothesis for granted, we carefully investigate the pitfalls behind. Particularly, we argue that the existing augmentation pipeline for generating multiple positive views naturally introduces out-of-distribution (OOD) samples that undermine the learning of the downstream tasks. Generating diverse positive augmentations on the input does not always pay off in benefiting downstream tasks. To overcome this inherent deficiency, we introduce a lightweight latent variable model UOTA, targeting the view sampling issue for self-supervised learning. UOTA adaptively searches for the most important sampling region to produce views, and provides viable choice for outlier-robust self-supervised learning approaches. Our method directly generalizes to many mainstream self-supervised learning approaches, regardless of the loss's nature contrastive or not. We empirically show UOTA's advantage over the state-of-the-art self-supervised paradigms with evident margin, which well justifies the existence of the OOD sample issue embedded in the existing approaches. Especially, we theoretically prove that the merits of the proposal boil down to guaranteed estimator variance and bias reduction. Code is available: at https://github.com/ssl-codelab/uota.
• Abstract（参考訳）: 我々の研究は、既存の主流の自己教師型学習手法の構造化された欠点を明らかにする。 自己教師付き学習フレームワークは、通常、当然の完全なインスタンスレベルの不変性仮説を取るが、我々は背後にある落とし穴を慎重に調査する。 特に,複数の肯定的なビューを生成する既存の拡張パイプラインは,下流タスクの学習を損なうアウト・オブ・ディストリビューション(OOD)サンプルを自然に導入する,という議論がある。 入力に様々なポジティブな拡張を生成することは、下流タスクの利益に必ずしも利益をもたらすとは限らない。 この欠点を克服するために,自己教師型学習のためのビューサンプリング問題を対象に,軽量潜伏変数モデル UOTA を導入する。 UOTAは、ビューを生成するために最も重要なサンプリング領域を適応的に検索し、アウトリア・ロバストな自己教師付き学習アプローチに実行可能な選択肢を提供する。 本手法は, 損失の性質に拘わらず, 主流の自己教師付き学習アプローチに直接一般化する。 我々は、既存のアプローチに埋め込まれたOODサンプル問題の存在を正当化する、明らかなマージンを持つ最先端の自己監督パラダイムに対する、UoTAのアドバンテージを実証的に示す。 特に理論上は,提案のメリットが推定値の分散とバイアス低減の保証に落ち着くことを証明している。 コードはhttps://github.com/ssl-codelab/uotaで入手できる。

関連論文リスト

• RODD: A Self-Supervised Approach for Robust Out-of-Distribution Detection [12.341250124228859]
  本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。 提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。 自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-06T03:05:58Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Unsupervised Embedding Learning from Uncertainty Momentum Modeling [37.674449317054716]
  本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。 このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
  論文  参考訳（メタデータ） (2021-07-19T14:06:19Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Joint Generative and Contrastive Learning for Unsupervised Person Re-identification [15.486689594217273]
  最近の自己指導型コントラスト学習は、教師なしの人物再識別(ReID)に効果的なアプローチを提供する 本稿では,GAN(Generative Adversarial Network)とコントラスト学習モジュールを1つのジョイントトレーニングフレームワークに統合する。
  論文  参考訳（メタデータ） (2020-12-16T16:49:57Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。