論文の概要: WERank: Towards Rank Degradation Prevention for Self-Supervised Learning
Using Weight Regularization
- arxiv url: http://arxiv.org/abs/2402.09586v1
- Date: Wed, 14 Feb 2024 21:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 17:55:20.215512
- Title: WERank: Towards Rank Degradation Prevention for Self-Supervised Learning
Using Weight Regularization
- Title（参考訳）: WERank:重み正規化を用いた自己指導型学習におけるランク劣化防止に向けて
- Authors: Ali Saheb Pasand, Reza Moravej, Mahdi Biparva, Ali Ghodsi
- Abstract要約: 本稿では,ネットワークの重みパラメータの新しい正規化器であるWERankを提案する。
We empirically demonstrated that WERank is effective to help BYOL to achieve higher rank during SSL pre-training and result downstream accuracy during evaluation probing。
- 参考スコア（独自算出の注目度）: 5.484161990886851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common phenomena confining the representation quality in Self-Supervised
Learning (SSL) is dimensional collapse (also known as rank degeneration), where
the learned representations are mapped to a low dimensional subspace of the
representation space. The State-of-the-Art SSL methods have shown to suffer
from dimensional collapse and fall behind maintaining full rank. Recent
approaches to prevent this problem have proposed using contrastive losses,
regularization techniques, or architectural tricks. We propose WERank, a new
regularizer on the weight parameters of the network to prevent rank
degeneration at different layers of the network. We provide empirical evidence
and mathematical justification to demonstrate the effectiveness of the proposed
regularization method in preventing dimensional collapse. We verify the impact
of WERank on graph SSL where dimensional collapse is more pronounced due to the
lack of proper data augmentation. We empirically demonstrate that WERank is
effective in helping BYOL to achieve higher rank during SSL pre-training and
consequently downstream accuracy during evaluation probing. Ablation studies
and experimental analysis shed lights on the underlying factors behind the
performance gains of the proposed approach.
- Abstract（参考訳）: 自己監督学習(SSL)における表現品質を補完する一般的な現象は、学習された表現を表現空間の低次元部分空間にマッピングする次元崩壊(ランク劣化とも呼ばれる)である。
State-of-the-Art SSLメソッドは、次元的な崩壊と完全なランク維持の遅れに悩まされている。
この問題を防ぐための最近のアプローチでは、対照的な損失、正規化手法、アーキテクチャ手法が提案されている。
本稿では,ネットワークの重みパラメータに関する新しい正規化器であるwerankを提案する。
本研究では,次元崩壊防止のための正規化手法の有効性を示す実証的証拠と数学的正当性を示す。
適切なデータ拡張の欠如により次元的崩壊がより顕著になるグラフsslに対するwerankの影響を検証する。
werank は,ssl プリトレーニング時にbyol が上位レベルを達成するのに有効であり,その結果,評価調査において下流精度が向上することを示す。
アブレーション研究と実験分析は,提案手法の性能向上の背景となる要因に光を当てた。
関連論文リスト
- Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization [9.823816643319448]
自己教師付き学習(SSL)は近年急速に進歩し、教師付き学習のパフォーマンスに近づいている。
数個の大きな固有値が固有空間を支配する次元崩壊は、SSLにとって重要な障害となる。
論文 参考訳（メタデータ） (2024-11-01T06:39:18Z) - Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-03T13:44:20Z) - Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks [3.776249047528669]
本稿では,クラスウェイトをUDA学習損失に組み込んだクラスバランス緩和戦略を提案する。
損失勾配を通してこれらの重みを動的に推定する斬新さは、グラディエントに基づくクラス重み付け(GBW)学習を定義する。
GBWは、大きな表現されたクラスによって学習が妨げられるクラスの貢献を自然に増大させる。
論文 参考訳（メタデータ） (2024-07-01T14:34:25Z) - Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization [2.8775022881551666]
シャープネス・アウェアの最小化 (SAM) はモデル一般化を強化するために提案された。
SAMは2つの主要なステップ、重みの摂動ステップと重みの更新ステップから構成される。
本稿では、SAMの摂動に対する標準的なクロスエントロピー損失を置き換えるために、適応逆クロスエントロピー(AACE)損失関数を提案する。
論文 参考訳（メタデータ） (2024-06-20T14:00:01Z) - Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。
本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。
実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
論文 参考訳（メタデータ） (2024-06-09T05:57:40Z) - Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。
我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
論文 参考訳（メタデータ） (2023-10-26T17:41:11Z) - Deep Metric Learning with Soft Orthogonal Proxies [1.823505080809275]
本稿では,プロキシにソフト直交性(SO)制約を導入する新しいアプローチを提案する。
提案手法では,DMLの目的と合わせて,画像からコンテキスト特徴を抽出するエンコーダとして,データ効率の良い画像変換器(DeiT)を利用する。
提案手法が最先端手法よりも有意なマージンで優れていることを示す。
論文 参考訳（メタデータ） (2023-06-22T17:22:15Z) - On the Importance of Feature Decorrelation for Unsupervised
Representation Learning in Reinforcement Learning [23.876039876806182]
教師なし表現学習(URL)は強化学習(RL)のサンプル効率を改善した
本稿では,潜在多様体の次元を増大させつつ,将来の状態を因果的に予測する新しいURLフレームワークを提案する。
本フレームワークは,Atari 100kベンチマークにおける最先端URL手法のサンプル効率を大幅に向上させるため,崩壊のない予測表現を効果的に学習する。
論文 参考訳（メタデータ） (2023-06-09T02:47:21Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳（メタデータ） (2023-02-19T17:42:35Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳（メタデータ） (2021-08-05T15:58:25Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。