論文の概要: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics

• arxiv url: http://arxiv.org/abs/2505.12576v1
• Date: Sun, 18 May 2025 23:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.317096
• Title: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics
• Title（参考訳）: AdaDim:SSL表現ダイナミクスのための次元適応
• Authors: Kiran Kokilepersaud, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 効果的な自己監視学習(SSL)の鍵となる要素は、次元的崩壊を防ぐことである。 次元性は、特徴デコレーションを促進する次元コントラスト的アプローチによって最適化されるか、サンプルコントラスト的手法によって最適化される。 トレーニング開始時の特徴デコレーションによる$H(R)$の上昇は、トレーニング終了時に均一に分散したサンプルによる$I(R;Z)$の上昇または減少につながることを示す。
• 参考スコア（独自算出の注目度）: 15.41281027432698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key factor in effective Self-Supervised learning (SSL) is preventing dimensional collapse, which is where higher-dimensional representation spaces span a lower-dimensional subspace. Therefore, SSL optimization strategies involve guiding a model to produce representations ($R$) with a higher dimensionality. Dimensionality is either optimized through a dimension-contrastive approach that encourages feature decorrelation or through a sample-contrastive method that promotes a uniform spread of sample representations. Both families of SSL algorithms also utilize a projection head that maps $R$ into a lower-dimensional embedding space $Z$. Recent work has characterized the projection head as a filter of irrelevant features from the SSL objective by reducing mutual information, $I(R;Z)$. Therefore, the current literature's view is that a good SSL representation space should have a high $H(R)$ and a low $I(R;Z)$. However, this view of the problem is lacking in terms of an understanding of the underlying training dynamics that influences both terms, as well as how the values of $H(R)$ and $I(R;Z)$ arrived at the end of training reflect the downstream performance of an SSL model. We address both gaps in the literature by demonstrating that increases in $H(R)$ due to feature decorrelation at the start of training lead to a higher $I(R;Z)$, while increases in $H(R)$ due to samples distributing uniformly in a high-dimensional space at the end of training cause $I(R;Z)$ to plateau or decrease. Furthermore, our analysis shows that the best performing SSL models do not have the highest $H(R)$ nor the lowest $I(R;Z)$, but arrive at an optimal intermediate point for both. We develop a method called AdaDim to exploit these observed training dynamics by adaptively weighting between losses based on feature decorrelation and uniform sample spread.
• Abstract（参考訳）: 有効自己監督学習(SSL)の鍵となる要素は、高次元表現空間が低次元部分空間にまたがる次元崩壊を防ぐことである。 したがって、SSL最適化戦略は、より高次元の表現を生成するためのモデル(R$)を誘導する。 次元は特徴デコレーションを促進する次元コントラスト法や、サンプル表現の均一な拡散を促進するサンプルコントラスト法によって最適化される。 SSLアルゴリズムのどちらのファミリーもプロジェクションヘッドを使用し、$R$を低次元の埋め込みスペース$Z$にマッピングする。 最近の研究で、プロジェクションヘッドは、相互情報を減らすことでSSLの目的から無関係な特徴のフィルタとして、$I(R;Z)$を特徴付けている。 したがって、現在の文献の見解では、良いSSL表現空間は高い$H(R)$と低い$I(R;Z)$を持つべきである。 しかし、この問題に対するこの見解は、両方の用語に影響を与える基礎となるトレーニングダイナミクスの理解の欠如と、トレーニングの最後に$H(R)$と$I(R;Z)$の値が、SSLモデルの下流のパフォーマンスを反映している点に欠けている。 トレーニング開始時の特徴デコレーションによる$H(R)$の増加は、トレーニング終了時の高次元空間に均一に分散したサンプルによる$I(R;Z)$の増加または減少につながることを示すことによって、文献内の両方のギャップに対処する。 さらに、我々の分析では、最高のSSLモデルは最高$H(R)$も最低$I(R;Z)$も持たないが、両者にとって最適な中間点に到達している。 特徴デコリレーションと均一なサンプル拡散に基づく損失を適応的に重み付けすることで,これらのトレーニングダイナミクスを活用するAdaDimと呼ばれる手法を開発した。

関連論文リスト

• Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning [6.559788182871813]
  分散ロバスト強化学習(DR-RL)は,最近,訓練環境と試験環境の相違に対処する原則的アプローチとして注目されている。 堅牢性、保守性、および計算トレーサビリティのバランスをとるため、文献はSA-正方形およびS-正方形対向を持つDR-RLモデルを導入した。 発散型S矩形DR-RLに対する実験値反復アルゴリズムについて検討し, ほぼ最適サンプル複雑性境界を確立する。
  論文  参考訳（メタデータ） (2025-05-18T02:35:39Z)
• NGD converges to less degenerate solutions than SGD [0.5249805590164902]
  モデルの自由パラメータ(次元)の数は、その複雑さを測る簡単な方法である。 しかし、これは正確な複雑さの尺度ではない。トレーニングデータを記憶できるモデルは、高次元にもかかわらずしばしば一般化される。 有効ディメンションは、モデルの機能性を表すのに必要なパラメータの数だけを数えることで、モデルの複雑さをより直接的に捉えることを目的としています。
  論文  参考訳（メタデータ） (2024-09-07T21:27:49Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
  グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。 最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
  論文  参考訳（メタデータ） (2023-03-02T00:57:38Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
  オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。 事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。 モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-11T17:26:19Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。