論文の概要: VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2105.04906v1
• Date: Tue, 11 May 2021 09:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 14:10:09.069838
• Title: VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning
• Title（参考訳）: VICReg: 自己監督型学習のための分散不変共分散正規化
• Authors: Adrien Bardes and Jean Ponce and Yann LeCun
• Abstract要約: 本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。 VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
• 参考スコア（独自算出の注目度）: 43.96465407127458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent self-supervised methods for image representation learning are based on maximizing the agreement between embedding vectors from different views of the same image. A trivial solution is obtained when the encoder outputs constant vectors. This collapse problem is often avoided through implicit biases in the learning architecture, that often lack a clear justification or interpretation. In this paper, we introduce VICReg (Variance-Invariance-Covariance Regularization), a method that explicitly avoids the collapse problem with a simple regularization term on the variance of the embeddings along each dimension individually. VICReg combines the variance term with a decorrelation mechanism based on redundancy reduction and covariance regularization, and achieves results on par with the state of the art on several downstream tasks. In addition, we show that incorporating our new variance term into other methods helps stabilize the training and leads to performance improvements.
• Abstract（参考訳）: 画像表現学習における近年の自己指導的手法は,同じ画像の異なる視点からの埋め込みベクトル間の一致を最大化することに基づいている。 エンコーダが定数ベクトルを出力すると自明な解が得られる。 この崩壊問題は、しばしば学習アーキテクチャにおける暗黙のバイアスによって避けられ、明確な正当化や解釈が欠けている。 本稿では,各次元に沿った埋め込みの分散に関する単純な正規化項で,崩壊問題を明示的に回避するVICReg(可変不変共分散正規化)を導入する。 VICRegは、分散項と、冗長化と共分散正則化に基づくデコリレーション機構を結合し、複数の下流タスクにおけるアートの状態と同等の結果を得る。 さらに,新たな分散項を他の手法に組み込むことによって,トレーニングの安定化と性能向上につながることを示す。

関連論文リスト

• The Benefits of Balance: From Information Projections to Variance Reduction [7.082773426322819]
  表現の崩壊を避けるために通常使用される反復アルゴリズムは、疑わしい利益を享受できることを示す。 我々は、この分散還元効果を定量化する非漸近境界を提供し、それらを適切に定義されたマルコフ作用素の固有デカイに関連付ける。 コントラッシブなマルチモーダル学習と自己教師付きクラスタリングにおいて、様々な形式のデータバランシングが、この分散還元スキームのインスタンスとしてどのように解釈できるかを説明する。
  論文  参考訳（メタデータ） (2024-08-27T13:48:15Z)
• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning [9.507070656654632]
  自己教師型視覚表現学習のための変換不変性と共分散コントラスト(TiCo)を提案する。 提案手法は,同一画像の異なる歪みバージョンの埋め込み間の一致を最大化することに基づいている。 また,TiCoは容量無制限の暗黙記憶バンクであるMoCoの変種と見なすことができ,余分なメモリコストを伴わないことを示す。
  論文  参考訳（メタデータ） (2022-06-21T19:44:01Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Generalized Negative Correlation Learning for Deep Ensembling [7.569288952340753]
  Ensembleアルゴリズムは、多くの機械学習アプリケーションにおいて、最先端のアートパフォーマンスを提供する。 任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化する。 我々は,アンサンブルの多様性を明示的に制御する一般化負相関学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-11-05T16:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。