論文の概要: Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations

• arxiv url: http://arxiv.org/abs/2209.14905v1
• Date: Thu, 29 Sep 2022 16:13:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:37:39.700476
• Title: Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations
• Title（参考訳）: 可変共分散規則化は自己監督表現におけるペアワイズ独立を強制する
• Authors: Gr\'egoire Mialon, Randall Balestriero, and Yann LeCun
• Abstract要約: 本稿では,VCRegが学習した表現の特徴を相互に独立させることを示す。 この結果は、プロジェクタの出力に適用されるVCRegを、プロジェクタの入力に適用されるカーネル独立性基準にブリッジすることで実現される。
• 参考スコア（独自算出の注目度）: 15.953409216283971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Supervised Learning (SSL) methods such as VICReg, Barlow Twins or W-MSE avoid collapse of their joint embedding architectures by constraining or regularizing the covariance matrix of their projector's output. This study highlights important properties of such strategy, which we coin Variance-Covariance regularization (VCReg). More precisely, we show that VCReg enforces pairwise independence between the features of the learned representation. This result emerges by bridging VCReg applied on the projector's output to kernel independence criteria applied on the projector's input. This provides the first theoretical motivations and explanations of VCReg. We empirically validate our findings where (i) we observe that SSL methods employing VCReg learn visual representations with greater pairwise independence than other methods, (i) we put in evidence which projector's characteristics favor pairwise independence, and show it to emerge independently from learning the projector, (ii) we use these findings to obtain nontrivial performance gains for VICReg, (iii) we demonstrate that the scope of VCReg goes beyond SSL by using it to solve Independent Component Analysis. We hope that our findings will support the adoption of VCReg in SSL and beyond.
• Abstract（参考訳）: VICReg、Barlow Twins、W-MSEといった自己監督学習(SSL)手法は、プロジェクタの出力の共分散行列を制約または規則化することにより、共同埋め込みアーキテクチャの崩壊を避ける。 本研究は, 可変共分散正規化(VCReg)を作成した戦略の重要な特性を明らかにする。 より正確には、VCRegは学習した表現の特徴間のペアワイズ独立を強制することを示す。 この結果は、プロジェクタの出力に適用されるvcregを、プロジェクタの入力に適用されるカーネル独立性基準にブリッジすることで生じる。 これはvcregの最初の理論的動機と説明を提供する。 研究成果を実証的に検証する (i)VCRegを用いたSSLメソッドは、他の方法よりもペアワイズ独立性の高い視覚表現を学習する。 (i)プロジェクタの特性が対独立性を好む証拠を作成し、プロジェクタの学習から独立して出現することを示す。 (II)VICRegの非自明な性能向上を得るためにこれらの知見を用いる。 3)VCRegのスコープは独立成分分析の解法としてSSLを超えていることを実証する。 SSLなどにおけるVCRegの採用を支持することを願っています。

関連論文リスト

• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)
• Latent Space Perspicacity and Interpretation Enhancement (LS-PIE) Framework [0.0]
  本稿では,線形潜在空間の解釈可能性向上のための潜在空間表現を強化するための一般的な枠組みを提案する。 この論文のコンセプトは言語に依存しないが、フレームワークはPythonで記述されている。 ラテント・ランキング(LR)、ラテント・スケーリング(LS)、ラテント・クラスタリング(LC)、ラテント・コンデンシング(LCON)など、いくつかの革新的な拡張が組み込まれている。
  論文  参考訳（メタデータ） (2023-07-11T03:56:04Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Conditional Independence Testing via Latent Representation Learning [2.566492438263125]
  LCIT(Latent representation based Conditional Independence Test)は、表現学習に基づく条件付き独立テストのための新しい非パラメトリック手法である。 我々の主な貢献は、Z が与えられた X と Y の独立性をテストするための生成的枠組みの提案である。
  論文  参考訳（メタデータ） (2022-09-04T07:16:03Z)
• Self-Calibration Supported Robust Projective Structure-from-Motion [80.15392629310507]
  本稿では,自己校正制約によってマッチングプロセスが支持される統合されたStructure-from-Motion (SfM)法を提案する。 これらの制約を利用して,ロバストなマルチビューマッチングと正確なカメラキャリブレーションを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-07-04T08:47:10Z)
• Semi-supervised Disentanglement with Independent Vector Variational Autoencoders [7.700240949386079]
  本研究では,データ生成因子を変分オートエンコーダ内の2つの潜在ベクトルに分割する。 個別のクラスの特徴を学習するために,少量のラベル付きデータを用いた監視を導入する。 i) このベクトル独立項は、複数の潜在ベクトルと下界を分解した証拠から得られた結果の中に存在し、(ii)ベクトル内の総相関を減らし、その独立を奨励することにより、非絡み合い性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-14T09:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。