論文の概要: FroSSL: Frobenius Norm Minimization for Efficient Multiview Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.02903v4
• Date: Mon, 5 Aug 2024 03:24:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:15:47.686545
• Title: FroSSL: Frobenius Norm Minimization for Efficient Multiview Self-Supervised Learning
• Title（参考訳）: FroSSL: 効率的なマルチビュー自己監視学習のためのFrobenius Norm最小化
• Authors: Oscar Skean, Aayush Dhakal, Nathan Jacobs, Luis Gonzalo Sanchez Giraldo,
• Abstract要約: FroSSLは、共分散固有値正則化を調整し、より多くのビューを使用する。 我々は,FroSSLが他のSSLメソッドよりも高速に競合精度に達することを示す。 また、FroSSLは、複数のデータセット上でResNet-18をトレーニングする際に、線形プローブ評価の競合表現を学習することを示す。
• 参考スコア（独自算出の注目度）: 8.572896815776089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) is a popular paradigm for representation learning. Recent multiview methods can be classified as sample-contrastive, dimension-contrastive, or asymmetric network-based, with each family having its own approach to avoiding informational collapse. While these families converge to solutions of similar quality, it can be empirically shown that some methods are epoch-inefficient and require longer training to reach a target performance. Two main approaches to improving efficiency are covariance eigenvalue regularization and using more views. However, these two approaches are difficult to combine due to the computational complexity of computing eigenvalues. We present the objective function FroSSL which reconciles both approaches while avoiding eigendecomposition entirely. FroSSL works by minimizing covariance Frobenius norms to avoid collapse and minimizing mean-squared error to achieve augmentation invariance. We show that FroSSL reaches competitive accuracies more quickly than any other SSL method and provide theoretical and empirical support that this faster convergence is due to how FroSSL affects the eigenvalues of the embedding covariance matrices. We also show that FroSSL learns competitive representations on linear probe evaluation when used to train a ResNet-18 on several datasets, including STL-10, Tiny ImageNet, and ImageNet-100.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、表現学習の一般的なパラダイムである。 近年のマルチビュー手法は, サンプルコントラスト, 次元コントラスト, 非対称ネットワークベースに分類される。 これらのファミリーは類似した品質の解に収束するが、いくつかの手法がエポック非効率であり、目標のパフォーマンスに到達するのに長い訓練を必要とすることを実証的に示すことができる。 効率性を改善するための2つの主要なアプローチは、共分散固有値正則化と、より多くのビューの使用である。 しかし、これらの2つのアプローチは固有値の計算の複雑さのために結合が難しい。 固有分解を完全に回避しながら双方のアプローチを一致させる目的関数FroSSLを提案する。 FroSSLは、共分散フロベニウスノルムを最小化して崩壊を回避し、平均二乗誤差を最小化して拡張不変性を達成する。 我々は,FroSSLが他のSSLメソッドよりも高速に競合精度に達することを示し,FroSSLが埋め込み共分散行列の固有値にどのように影響するかによって,この高速収束が理論的および実証的な支持を提供する。 また、FroSSLは、STL-10、Tiny ImageNet、ImageNet-100など、複数のデータセット上でResNet-18をトレーニングする際に、線形プローブ評価に関する競合表現を学習することを示す。

関連論文リスト

• Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
  半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。 我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-30T13:48:50Z)
• Towards Democratizing Joint-Embedding Self-Supervised Learning [17.59181163979478]
  一つのイメージパッチを負の例として用いながら,SimCLRに有用な表現を学習させることが可能であることを示す。 JE-SSLを民主化するために、SSL用に最適化されたPyTorchライブラリを導入します。
  論文  参考訳（メタデータ） (2023-03-03T14:55:44Z)
• Evaluating Self-Supervised Learning via Risk Decomposition [100.73914689472507]
  自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。 これはなぜモデルが良いのか、いつ良いのか、どのように改善するかについて、あまり洞察を提供していない。 本稿では,古典的教師付き近似-推定分解を一般化したSSLリスク分解を提案する。
  論文  参考訳（メタデータ） (2023-02-06T19:09:00Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。