論文の概要: Implicit variance regularization in non-contrastive SSL

• arxiv url: http://arxiv.org/abs/2212.04858v2
• Date: Fri, 27 Oct 2023 12:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 18:57:30.023662
• Title: Implicit variance regularization in non-contrastive SSL
• Title（参考訳）: 非contrastive sslにおける暗黙的分散正規化
• Authors: Manu Srinath Halvagal, Axel Laborieux, Friedemann Zenke
• Abstract要約: 閉形式線形予測ネットワークの固有空間におけるユークリッドおよびコサイン類似性とともに学習力学を解析的に研究する。 固有モデム間の収束速度を等化させる等方的損失関数の族 (IsoLoss) を提案する。
• 参考スコア（独自算出の注目度）: 7.573586022424398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-contrastive SSL methods like BYOL and SimSiam rely on asymmetric predictor networks to avoid representational collapse without negative samples. Yet, how predictor networks facilitate stable learning is not fully understood. While previous theoretical analyses assumed Euclidean losses, most practical implementations rely on cosine similarity. To gain further theoretical insight into non-contrastive SSL, we analytically study learning dynamics in conjunction with Euclidean and cosine similarity in the eigenspace of closed-form linear predictor networks. We show that both avoid collapse through implicit variance regularization albeit through different dynamical mechanisms. Moreover, we find that the eigenvalues act as effective learning rate multipliers and propose a family of isotropic loss functions (IsoLoss) that equalize convergence rates across eigenmodes. Empirically, IsoLoss speeds up the initial learning dynamics and increases robustness, thereby allowing us to dispense with the EMA target network typically used with non-contrastive methods. Our analysis sheds light on the variance regularization mechanisms of non-contrastive SSL and lays the theoretical grounds for crafting novel loss functions that shape the learning dynamics of the predictor's spectrum.
• Abstract（参考訳）: BYOLやSimSiamのような非競合的なSSLメソッドは、非対称予測ネットワークに依存して、否定的なサンプルなしで表現的崩壊を避ける。 しかし、予測ネットワークが安定した学習を促進する方法は完全には理解されていない。 以前の理論解析はユークリッドの損失を想定していたが、ほとんどの実用的な実装はコサインの類似性に依存している。 非contrastive sslのさらなる理論的知見を得るために,閉形式線形予測ネットワークの固有空間におけるユークリッドおよびコサイン類似性とともに,学習ダイナミクスを解析的に研究する。 動的メカニズムが異なるにもかかわらず、暗黙の分散正則化による崩壊を避けることが示される。 さらに,固有値が効果的な学習率乗算器として働くことを見出し,固有モード間の収束率を等しい等方損失関数(isoloss)の族を提案する。 経験上、isolossは初期学習のダイナミクスを高速化し、堅牢性を高めます。 本分析では,非コントラストSSLの分散正則化機構に光を当て,予測子のスペクトルの学習力学を形作る新しい損失関数を構築するための理論的根拠を定めている。

関連論文リスト

• Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
  多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。 データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。 本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-25T04:29:04Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• Stochastic Modified Equations and Dynamics of Dropout Algorithm [4.811269936680572]
  ドロップアウトはニューラルネットワークのトレーニングにおいて広く利用されている正規化技術である。 その基盤となるメカニズムと優れた能力を達成するための影響は、いまだに理解されていない。
  論文  参考訳（メタデータ） (2023-05-25T08:42:25Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Leveraging Heteroscedastic Uncertainty in Learning Complex Spectral Mapping for Single-channel Speech Enhancement [20.823177372464414]
  ほとんどの音声強調(SE)モデルは、ポイント推定を学習し、学習過程における不確実性推定を利用しない。 本研究では,多変量ガウス陰性ログ類似度 (NLL) を最小化することにより,SE性能を余分なコストで向上させることにより,ヘテロスセダスティック不確実性をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-11-16T02:29:05Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。