論文の概要: Towards Demystifying Representation Learning with Non-contrastive Self-supervision

• arxiv url: http://arxiv.org/abs/2110.04947v1
• Date: Mon, 11 Oct 2021 00:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 08:57:00.011213
• Title: Towards Demystifying Representation Learning with Non-contrastive Self-supervision
• Title（参考訳）: 非コントラスト的自己スーパービジョンによる表現学習のデミスティフィケーションに向けて
• Authors: Xiang Wang, Xinlei Chen, Simon S. Du, Yuandong Tian
• Abstract要約: 自己教師型学習の非競合的手法は、同一画像の2つのビュー間の距離を最小化することにより、表現を学習する。 Tian el al. (2021) は最初の質問に対して最初の試みを行い、予測器を直接設定する DirectPred を提案した。 単純な線形ネットワークにおいて、DirectSet($alpha$)は望ましいプロジェクション行列を確実に学習し、下流タスクにおけるサンプルの複雑さを減少させることを示す。
• 参考スコア（独自算出の注目度）: 82.80118139087676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-contrastive methods of self-supervised learning (such as BYOL and SimSiam) learn representations by minimizing the distance between two views of the same image. These approaches have achieved remarkable performance in practice, but it is not well understood 1) why these methods do not collapse to the trivial solutions and 2) how the representation is learned. Tian el al. (2021) made an initial attempt on the first question and proposed DirectPred that sets the predictor directly. In our work, we analyze a generalized version of DirectPred, called DirectSet($\alpha$). We show that in a simple linear network, DirectSet($\alpha$) provably learns a desirable projection matrix and also reduces the sample complexity on downstream tasks. Our analysis suggests that weight decay acts as an implicit threshold that discard the features with high variance under augmentation, and keep the features with low variance. Inspired by our theory, we simplify DirectPred by removing the expensive eigen-decomposition step. On CIFAR-10, CIFAR-100, STL-10 and ImageNet, DirectCopy, our simpler and more computationally efficient algorithm, rivals or even outperforms DirectPred.
• Abstract（参考訳）: 自己教師付き学習(BYOLやSimSiamなど)の非競合的手法は、同じ画像の2つのビュー間の距離を最小化することで表現を学習する。 これらのアプローチは実際に顕著なパフォーマンスを達成したが、よく理解されていない。 1) これらの方法が自明な解に崩壊しない理由と 2) 表現がどのように学習されるか。 Tian el al. (2021) は最初の質問に対して最初の試みを行い、予測器を直接設定する DirectPred を提案した。 我々の研究では、DirectSet($\alpha$)と呼ばれるDirectPredの一般化バージョンを分析します。 単純な線形ネットワークにおいて、DirectSet($\alpha$)は望ましいプロジェクション行列を確実に学習し、下流タスクにおけるサンプルの複雑さを減少させることを示す。 分析の結果,重み劣化は暗黙のしきい値として機能し,高分散で特徴を排除し,低分散で特徴を維持することが示唆された。 我々の理論に触発されて、我々は高価な固有分解ステップを取り除き、DirectPredを単純化した。 CIFAR-10、CIFAR-100、STL-10、ImageNet、DirectCopyでは、よりシンプルで計算効率の良いアルゴリズム、ライバル、さらにはDirectPredよりも優れています。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• spred: Solving $L_1$ Penalty with SGD [6.2255027793924285]
  単純な再パラメータ化を用いて、$L_$で微分可能な目的を最小化することを提案する。 我々は、再パラメータ化のトリックが「完全に良性である」ことを証明する。
  論文  参考訳（メタデータ） (2022-10-03T20:07:51Z)
• Minimalistic Unsupervised Learning with the Sparse Manifold Transform [20.344274392350094]
  本稿では,SOTA SSL手法に近い性能を実現する,教師なし学習のための最小限かつ解釈可能な手法について述べる。 一層決定論的スパース多様体変換により、MNIST上で99.3%のKNNトップ-1精度が得られる。 CIFAR-10では83.2%、CIFAR-100では57%である。
  論文  参考訳（メタデータ） (2022-09-30T06:38:30Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。