論文の概要: Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction

• arxiv url: http://arxiv.org/abs/2102.10106v1
• Date: Fri, 19 Feb 2021 18:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:23:32.239142
• Title: Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction
• Title（参考訳）: 自力で自力で学習する「Mine your own vieW」
• Authors: Mehdi Azabou, Mohammad Gheshlaghi Azar, Ran Liu, Chi-Heng Lin, Erik C. Johnson, Kiran Bhaskaran-Nair, Max Dabagia, Keith B. Hengen, William Gray-Roncal, Michal Valko, Eva L. Dyer
• Abstract要約: Mine Your Own vieW (MYOW) は,自己教師型学習 (SSL) にクロスサンプル予測を構築するための新しいアプローチである。 MYOWは積極的にビューをマイニングし、ネットワークの表現空間に近接するサンプルを発見し、次に、あるサンプルの潜在表現、近くのサンプルの表現から予測する。 コンピュータビジョンで使用される標準データセット上でMYOWの約束を示すことに加えて、我々は、豊富な増強がすでに確立されていない神経科学における新しいアプリケーションで、このアイデアの力を強調します。
• 参考スコア（独自算出の注目度）: 29.569904222648653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art methods for self-supervised learning (SSL) build representations by maximizing the similarity between different augmented "views" of a sample. Because these approaches try to match views of the same sample, they can be too myopic and fail to produce meaningful results when augmentations are not sufficiently rich. This motivates the use of the dataset itself to find similar, yet distinct, samples to serve as views for one another. In this paper, we introduce Mine Your Own vieW (MYOW), a new approach for building across-sample prediction into SSL. The idea behind our approach is to actively mine views, finding samples that are close in the representation space of the network, and then predict, from one sample's latent representation, the representation of a nearby sample. In addition to showing the promise of MYOW on standard datasets used in computer vision, we highlight the power of this idea in a novel application in neuroscience where rich augmentations are not already established. When applied to neural datasets, MYOW outperforms other self-supervised approaches in all examples (in some cases by more than 10%), and surpasses the supervised baseline for most datasets. By learning to predict the latent representation of similar samples, we show that it is possible to learn good representations in new domains where augmentations are still limited.
• Abstract（参考訳）: サンプルの異なる拡張された「ビュー」間の類似性を最大化することにより、自己監視学習(SSL)構築表現の最先端の方法。 これらのアプローチは、同じサンプルのビューと一致しようとするため、筋電図が多すぎるため、増強が十分に豊富でない場合、意味のある結果が得られない可能性があります。 これにより、データセット自体が、互いにビューとして機能する類似の、しかし、異なるサンプルを見つける動機となる。 本稿では,SSL にクロスサンプル予測を組み込む新しいアプローチである Mine Your Own vieW (MYOW) を紹介する。 このアプローチの背後にある考え方は、ビューを積極的にマイニングし、ネットワークの表現空間に近接するサンプルを見つけ、次に、あるサンプルの潜在表現、近くのサンプルの表現から予測することである。 コンピュータビジョンで使用される標準データセット上でMYOWの約束を示すことに加えて、我々は、豊富な増強がすでに確立されていない神経科学における新しいアプリケーションで、このアイデアの力を強調します。 ニューラルデータセットに適用すると、MYOWはすべての例(場合によっては10%以上)で他のセルフ監視アプローチを上回り、ほとんどのデータセットの監視ベースラインを上回ります。 類似したサンプルの潜在表現を予測することを学ぶことで、拡張がまだ制限されている新しい領域で良い表現を学べることを示す。

関連論文リスト

• Self-Guided Generation of Minority Samples Using Diffusion Models [57.319845580050924]
  データ多様体の低密度領域に居住する少数サンプルを生成するための新しい手法を提案する。 我々のフレームワークは拡散モデルに基づいて構築されており、ガイドドサンプリングの原理を生かしている。 実データセットのベンチマーク実験により、我々のアプローチは現実的な低自由度マイノリティインスタンスを作成する能力を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2024-07-16T10:03:29Z)
• Sample and Predict Your Latent: Modality-free Sequential Disentanglement via Contrastive Estimation [2.7759072740347017]
  外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。 実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。 提案手法は,既存の手法と比較して最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-05-25T10:50:30Z)
• InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
  InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。 我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
  論文  参考訳（メタデータ） (2023-02-15T19:45:35Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• MixSiam: A Mixture-based Approach to Self-supervised Representation Learning [33.52892899982186]
  近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。 従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
  論文  参考訳（メタデータ） (2021-11-04T08:12:47Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。