論文の概要: VICReg: Variance-Invariance-Covariance Regularization for
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2105.04906v1
- Date: Tue, 11 May 2021 09:53:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 14:10:09.069838
- Title: VICReg: Variance-Invariance-Covariance Regularization for
Self-Supervised Learning
- Title(参考訳): VICReg: 自己監督型学習のための分散不変共分散正規化
- Authors: Adrien Bardes and Jean Ponce and Yann LeCun
- Abstract要約: 本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。
VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
- 参考スコア(独自算出の注目度): 43.96465407127458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent self-supervised methods for image representation learning are based on
maximizing the agreement between embedding vectors from different views of the
same image. A trivial solution is obtained when the encoder outputs constant
vectors. This collapse problem is often avoided through implicit biases in the
learning architecture, that often lack a clear justification or interpretation.
In this paper, we introduce VICReg (Variance-Invariance-Covariance
Regularization), a method that explicitly avoids the collapse problem with a
simple regularization term on the variance of the embeddings along each
dimension individually. VICReg combines the variance term with a decorrelation
mechanism based on redundancy reduction and covariance regularization, and
achieves results on par with the state of the art on several downstream tasks.
In addition, we show that incorporating our new variance term into other
methods helps stabilize the training and leads to performance improvements.
- Abstract(参考訳): 画像表現学習における近年の自己指導的手法は,同じ画像の異なる視点からの埋め込みベクトル間の一致を最大化することに基づいている。
エンコーダが定数ベクトルを出力すると自明な解が得られる。
この崩壊問題は、しばしば学習アーキテクチャにおける暗黙のバイアスによって避けられ、明確な正当化や解釈が欠けている。
本稿では,各次元に沿った埋め込みの分散に関する単純な正規化項で,崩壊問題を明示的に回避するVICReg(可変不変共分散正規化)を導入する。
VICRegは、分散項と、冗長化と共分散正則化に基づくデコリレーション機構を結合し、複数の下流タスクにおけるアートの状態と同等の結果を得る。
さらに,新たな分散項を他の手法に組み込むことによって,トレーニングの安定化と性能向上につながることを示す。
関連論文リスト
- Supervised Contrastive Learning with Heterogeneous Similarity for
Distribution Shifts [3.7819322027528113]
本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。
サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
論文 参考訳(メタデータ) (2023-04-07T01:45:09Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳(メタデータ) (2022-06-24T08:18:05Z) - TiCo: Transformation Invariance and Covariance Contrast for
Self-Supervised Visual Representation Learning [9.507070656654632]
自己教師型視覚表現学習のための変換不変性と共分散コントラスト(TiCo)を提案する。
提案手法は,同一画像の異なる歪みバージョンの埋め込み間の一致を最大化することに基づいている。
また,TiCoは容量無制限の暗黙記憶バンクであるMoCoの変種と見なすことができ,余分なメモリコストを伴わないことを示す。
論文 参考訳(メタデータ) (2022-06-21T19:44:01Z) - Regularising for invariance to data augmentation improves supervised
learning [82.85692486314949]
入力毎に複数の拡張を使用すれば、一般化が向上することを示す。
本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
論文 参考訳(メタデータ) (2022-03-07T11:25:45Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。
本稿では,VAEの整合性を強制する正規化手法を提案する。
論文 参考訳(メタデータ) (2021-05-31T10:26:32Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Generalized Negative Correlation Learning for Deep Ensembling [7.569288952340753]
Ensembleアルゴリズムは、多くの機械学習アプリケーションにおいて、最先端のアートパフォーマンスを提供する。
任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化する。
我々は,アンサンブルの多様性を明示的に制御する一般化負相関学習アルゴリズムを導出する。
論文 参考訳(メタデータ) (2020-11-05T16:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。