論文の概要: Predictor networks and stop-grads provide implicit variance regularization in BYOL/SimSiam

• arxiv url: http://arxiv.org/abs/2212.04858v1
• Date: Fri, 9 Dec 2022 13:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:02:47.062575
• Title: Predictor networks and stop-grads provide implicit variance regularization in BYOL/SimSiam
• Title（参考訳）: byol/simsiamにおける予測ネットワークとストップグレードによる暗黙的分散正規化
• Authors: Manu Srinath Halvagal, Axel Laborieux, Friedemann Zenke
• Abstract要約: 自己教師付き学習は、同一入力の強化バージョンのペアに不変なネットワークをトレーニングすることで、未学習のデータから有用な表現を学習する。 非競合的手法は、ネットワーク出力の共分散行列を直接正規化するか、あるいは非対称損失アーキテクチャを通して、崩壊を避ける。 線形ネットワークにおける表現学習力学の解析式を導出する。
• 参考スコア（独自算出の注目度）: 4.468952886990851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) learns useful representations from unlabelled data by training networks to be invariant to pairs of augmented versions of the same input. Non-contrastive methods avoid collapse either by directly regularizing the covariance matrix of network outputs or through asymmetric loss architectures, two seemingly unrelated approaches. Here, by building on DirectPred, we lay out a theoretical framework that reconciles these two views. We derive analytical expressions for the representational learning dynamics in linear networks. By expressing them in the eigenspace of the embedding covariance matrix, where the solutions decouple, we reveal the mechanism and conditions that provide implicit variance regularization. These insights allow us to formulate a new isotropic loss function that equalizes eigenvalue contribution and renders learning more robust. Finally, we show empirically that our findings translate to nonlinear networks trained on CIFAR-10 and STL-10.
• Abstract（参考訳）: 自己教師付き学習(ssl)は、同じ入力の拡張バージョンに不変なネットワークをトレーニングすることで、ラベルのないデータから有用な表現を学習する。 非競合的手法は、ネットワーク出力の共分散行列を直接正規化するか、あるいは非対称な損失アーキテクチャによって崩壊を避ける。 ここでは、DirectPred上に構築することで、これらの2つの見解を和解する理論的な枠組みを構築します。 線形ネットワークにおける表現学習ダイナミクスの解析式を導出する。 解が分離する埋め込み共分散行列の固有空間でそれらを表現することにより、暗黙的分散正規化をもたらすメカニズムと条件を明らかにする。 これらの知見は、固有値の寄与を等しくし、学習をより堅牢にする新しい等方的損失関数を定式化することができる。 最後に,cifar-10 と stl-10 で訓練された非線形ネットワークを用いて実験を行った。

関連論文リスト

• Learning Disentangled Discrete Representations [22.5004558029479]
  本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
  論文  参考訳（メタデータ） (2023-07-26T12:29:58Z)
• Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with Variational Information Bottleneck and Contrastive Learning [26.81550988672256]
  本稿では,感情分析の素早い相関を抑えるために,CVIB(Contrastive Variational Information Bottleneck)フレームワークを提案する。 CVIB法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-06T02:52:37Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning [43.96465407127458]
  本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。 VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
  論文  参考訳（メタデータ） (2021-05-11T09:53:21Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。