論文の概要: WERank: Towards Rank Degradation Prevention for Self-Supervised Learning
Using Weight Regularization
- arxiv url: http://arxiv.org/abs/2402.09586v1
- Date: Wed, 14 Feb 2024 21:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 17:55:20.215512
- Title: WERank: Towards Rank Degradation Prevention for Self-Supervised Learning
Using Weight Regularization
- Title(参考訳): WERank:重み正規化を用いた自己指導型学習におけるランク劣化防止に向けて
- Authors: Ali Saheb Pasand, Reza Moravej, Mahdi Biparva, Ali Ghodsi
- Abstract要約: 本稿では,ネットワークの重みパラメータの新しい正規化器であるWERankを提案する。
We empirically demonstrated that WERank is effective to help BYOL to achieve higher rank during SSL pre-training and result downstream accuracy during evaluation probing。
- 参考スコア(独自算出の注目度): 5.484161990886851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common phenomena confining the representation quality in Self-Supervised
Learning (SSL) is dimensional collapse (also known as rank degeneration), where
the learned representations are mapped to a low dimensional subspace of the
representation space. The State-of-the-Art SSL methods have shown to suffer
from dimensional collapse and fall behind maintaining full rank. Recent
approaches to prevent this problem have proposed using contrastive losses,
regularization techniques, or architectural tricks. We propose WERank, a new
regularizer on the weight parameters of the network to prevent rank
degeneration at different layers of the network. We provide empirical evidence
and mathematical justification to demonstrate the effectiveness of the proposed
regularization method in preventing dimensional collapse. We verify the impact
of WERank on graph SSL where dimensional collapse is more pronounced due to the
lack of proper data augmentation. We empirically demonstrate that WERank is
effective in helping BYOL to achieve higher rank during SSL pre-training and
consequently downstream accuracy during evaluation probing. Ablation studies
and experimental analysis shed lights on the underlying factors behind the
performance gains of the proposed approach.
- Abstract(参考訳): 自己監督学習(SSL)における表現品質を補完する一般的な現象は、学習された表現を表現空間の低次元部分空間にマッピングする次元崩壊(ランク劣化とも呼ばれる)である。
State-of-the-Art SSLメソッドは、次元的な崩壊と完全なランク維持の遅れに悩まされている。
この問題を防ぐための最近のアプローチでは、対照的な損失、正規化手法、アーキテクチャ手法が提案されている。
本稿では,ネットワークの重みパラメータに関する新しい正規化器であるwerankを提案する。
本研究では,次元崩壊防止のための正規化手法の有効性を示す実証的証拠と数学的正当性を示す。
適切なデータ拡張の欠如により次元的崩壊がより顕著になるグラフsslに対するwerankの影響を検証する。
werank は,ssl プリトレーニング時にbyol が上位レベルを達成するのに有効であり,その結果,評価調査において下流精度が向上することを示す。
アブレーション研究と実験分析は,提案手法の性能向上の背景となる要因に光を当てた。
関連論文リスト
- Contrastive Learning with Orthonormal Anchors (CLOA) [0.0]
本研究では,コントラスト学習における不安定性問題に対処すること,特にInfoNCE損失関数とその導関数について検討する。
我々はこれらの損失関数が制限的な挙動を示すことを批判的に観察し、埋め込みが特異点にマージする傾向にある収束現象を導いた。
この「オーバーフュージョン」効果は、その後の教師あり学習タスクの分類精度に有害である。
論文 参考訳(メタデータ) (2024-03-27T15:48:16Z) - Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。
我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
論文 参考訳(メタデータ) (2023-10-26T17:41:11Z) - Deep Metric Learning with Soft Orthogonal Proxies [1.823505080809275]
本稿では,プロキシにソフト直交性(SO)制約を導入する新しいアプローチを提案する。
提案手法では,DMLの目的と合わせて,画像からコンテキスト特徴を抽出するエンコーダとして,データ効率の良い画像変換器(DeiT)を利用する。
提案手法が最先端手法よりも有意なマージンで優れていることを示す。
論文 参考訳(メタデータ) (2023-06-22T17:22:15Z) - On the Importance of Feature Decorrelation for Unsupervised
Representation Learning in Reinforcement Learning [23.876039876806182]
教師なし表現学習(URL)は強化学習(RL)のサンプル効率を改善した
本稿では,潜在多様体の次元を増大させつつ,将来の状態を因果的に予測する新しいURLフレームワークを提案する。
本フレームワークは,Atari 100kベンチマークにおける最先端URL手法のサンプル効率を大幅に向上させるため,崩壊のない予測表現を効果的に学習する。
論文 参考訳(メタデータ) (2023-06-09T02:47:21Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳(メタデータ) (2022-10-18T22:33:12Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳(メタデータ) (2022-07-22T03:49:50Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Stratified Learning: A General-Purpose Statistical Method for Improved
Learning under Covariate Shift [1.1470070927586016]
本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。
因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。
本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
論文 参考訳(メタデータ) (2021-06-21T15:53:20Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。