論文の概要: The Hidden Uniform Cluster Prior in Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2210.07277v1
- Date: Thu, 13 Oct 2022 18:10:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 14:46:33.803341
- Title: The Hidden Uniform Cluster Prior in Self-Supervised Learning
- Title(参考訳): 自己監督型学習に先立つ隠れた一様クラスタ
- Authors: Mahmoud Assran, Randall Balestriero, Quentin Duval, Florian Bordes,
Ishan Misra, Piotr Bojanowski, Pascal Vincent, Michael Rabbat, Nicolas Ballas
- Abstract要約: 表現学習における成功のパラダイムは、ミニバッチ統計に基づくタスクを用いて自己教師付き事前学習を行うことである。
これらの手法の定式化では、データの一様クラスタリングを可能にする特徴を学習する前に見過ごされる。
従来の均一性から脱却し、代わりにパワーローな分散特徴クラスタを優先することにより、実世界のクラス不均衡データセットにおける学習された表現の質を向上させることができることを示す。
- 参考スコア(独自算出の注目度): 38.96068152375753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A successful paradigm in representation learning is to perform
self-supervised pretraining using tasks based on mini-batch statistics (e.g.,
SimCLR, VICReg, SwAV, MSN). We show that in the formulation of all these
methods is an overlooked prior to learn features that enable uniform clustering
of the data. While this prior has led to remarkably semantic representations
when pretraining on class-balanced data, such as ImageNet, we demonstrate that
it can hamper performance when pretraining on class-imbalanced data. By moving
away from conventional uniformity priors and instead preferring power-law
distributed feature clusters, we show that one can improve the quality of the
learned representations on real-world class-imbalanced datasets. To demonstrate
this, we develop an extension of the Masked Siamese Networks (MSN) method to
support the use of arbitrary features priors.
- Abstract(参考訳): 表現学習において成功したパラダイムは、ミニバッチ統計に基づくタスク(SimCLR、VICReg、SwaV、MSNなど)を使って自己教師型事前訓練を行うことである。
これらの手法の定式化において、データの均一なクラスタリングを可能にする特徴を学ぶ前に見過ごされていることを示す。
この前処理はimagenetなどのクラスバランスデータで事前トレーニングする場合に著しく意味的表現をもたらすが、クラスバランスデータで事前トレーニングする場合のパフォーマンスを阻害できることを実証する。
従来の均一性優先から離れて、代わりにパワールール分散機能クラスタを優先することで、実世界のクラス不均衡データセットにおける学習表現の品質を向上させることができることを示す。
そこで本稿では,MSN(Masked Siamese Networks)法の拡張により,任意の特徴の事前利用を支援する手法を提案する。
関連論文リスト
- Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳(メタデータ) (2024-03-12T06:29:54Z) - Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models [17.31203979844975]
継続学習のための新しいクラスプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,リプレイバッファを必要としない。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud
Dataset [25.935496432142976]
知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。
我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。
我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
論文 参考訳(メタデータ) (2023-06-01T12:32:52Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - A Simple Baseline that Questions the Use of Pretrained-Models in
Continual Learning [30.023047201419825]
いくつかの手法は、事前訓練された表現に基づいて連続学習機構を設計し、継続学習のトレーニング中に最小限のアップデートやバックボーンモデルの更新を許可しない。
我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。
このベースラインは10-Split-CIFAR-100で88.53%を達成した。
論文 参考訳(メタデータ) (2022-10-10T04:19:53Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Information Maximization Clustering via Multi-View Self-Labelling [9.947717243638289]
本稿では,意味のある表現を同時に学習し,対応するアノテーションを割り当てる単一フェーズクラスタリング手法を提案する。
これは、離散表現をネットを通じて自己監督パラダイムに統合することで達成される。
実験の結果,提案手法は,平均精度89.1%,49.0%で最先端技術を上回ることがわかった。
論文 参考訳(メタデータ) (2021-03-12T16:04:41Z) - Unsupervised Learning of Visual Features by Contrasting Cluster
Assignments [57.33699905852397]
ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。
本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。
我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
論文 参考訳(メタデータ) (2020-06-17T14:00:42Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。