論文の概要: An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization

• arxiv url: http://arxiv.org/abs/2303.00633v1
• Date: Wed, 1 Mar 2023 16:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 14:01:42.828161
• Title: An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization
• Title（参考訳）: 分散不変共分散正則化に関する情報理論的視点
• Authors: Ravid Shwartz-Ziv, Randall Balestriero, Kenji Kawaguchi, Tim G. J. Rudner, Yann LeCun
• Abstract要約: 自己教師型学習のための分散In-Co正規化(VICReg)に関する情報理論的な視点を提供する。 本稿では,従来の手法を性能的に上回る,相互情報目的に基づく自己指導型学習手法を提案する。
• 参考スコア（独自算出の注目度）: 31.621516856384005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we provide an information-theoretic perspective on Variance-Invariance-Covariance Regularization (VICReg) for self-supervised learning. To do so, we first demonstrate how information-theoretic quantities can be obtained for deterministic networks as an alternative to the commonly used unrealistic stochastic networks assumption. Next, we relate the VICReg objective to mutual information maximization and use it to highlight the underlying assumptions of the objective. Based on this relationship, we derive a generalization bound for VICReg, providing generalization guarantees for downstream supervised learning tasks and present new self-supervised learning methods, derived from a mutual information maximization objective, that outperform existing methods in terms of performance. This work provides a new information-theoretic perspective on self-supervised learning and Variance-Invariance-Covariance Regularization in particular and guides the way for improved transfer learning via information-theoretic self-supervised learning objectives.
• Abstract（参考訳）: 本稿では,自己教師型学習のための変数不変共分散正規化(VICReg)に関する情報理論的な視点を提供する。 そこで本研究では, 一般の非現実的確率的ネットワークの仮定に代えて, 決定論的ネットワークに対して情報理論量が得られることを示す。 次に、VICRegの目的を相互情報の最大化に関連付け、その目的の前提となる仮定を強調する。 この関係に基づいてvicregの一般化を導出し,下流教師付き学習タスクの一般化保証を提供し,既存の手法を性能面で上回る相互情報最大化目標から導出した,新たな自己教師付き学習手法を提案する。 本研究は, 自己教師型学習と変分共分散規則化に関する新たな情報理論的視点を提供し, 情報理論的自己教師型学習の目的を通じて, 伝達学習を改善する方法を導く。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Variance-Covariance Regularization Improves Representation Learning [28.341622247252705]
  我々は,分散共分散正規化(VCReg)を導入して,自己教師型学習規則化手法を教師型学習コンテキストに適用する。 我々は、VCRegが画像やビデオの転送学習を大幅に強化し、多数のタスクやデータセットで最先端のパフォーマンスを達成することを実証した。 要約すると、VCRegは、転送学習を大幅に進歩させ、勾配飢餓、神経崩壊、特徴伝達可能性の間の接続を強調する、普遍的に適用可能な正規化フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-06-23T05:01:02Z)
• Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning [1.0499611180329804]
  自己教師型学習(SSL)は、自己教師型学習(SSL)を通して学習した視覚的表現の質を評価するために用いられる。 既存のSSLメソッドは、これらの評価プロトコルの下で優れたパフォーマンスを示している。 我々は、最先端のSSL方式で広範な実験を行うことにより、性能感度の原因を解明しようとする。
  論文  参考訳（メタデータ） (2023-04-07T03:03:19Z)
• What Do We Maximize in Self-Supervised Learning? [17.94932034403123]
  決定論的ネットワークにおいて情報理論量がどのように得られるかを示す。 仮定の有効性を実証的に実証し、新しいVICRegの理解を確認した。 我々は、得られた導出と洞察は、他の多くのSSLメソッドに一般化できると考えている。
  論文  参考訳（メタデータ） (2022-07-20T04:44:26Z)
• Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods [19.587273175563745]
  自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。 本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力の下で統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-23T17:59:32Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。