論文の概要: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics
- arxiv url: http://arxiv.org/abs/2505.12576v2
- Date: Wed, 08 Oct 2025 14:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 14:21:17.994089
- Title: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics
- Title（参考訳）: AdaDim:SSL表現ダイナミクスのための次元適応
- Authors: Kiran Kokilepersaud, Mohit Prabhushankar, Ghassan AlRegib,
- Abstract要約: 効果的な自己監視学習(SSL)の鍵となる要素は、次元的崩壊を防ぐことである。
良いSSL表現空間は高い$H(R)$と低い$I(R;Z)$を持つべきである。
最高のSSLモデルは、最高$H(R)$も最低$I(R;Z)$も持たないが、実質的に両者のバランスを保っていることを示す。
- 参考スコア（独自算出の注目度）: 13.068234143496335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A key factor in effective Self-Supervised learning (SSL) is preventing dimensional collapse, where higher-dimensional representation spaces ($R$) span a lower-dimensional subspace. Therefore, SSL optimization strategies involve guiding a model to produce $R$ with a higher dimensionality ($H(R)$) through objectives that encourage decorrelation of features or sample uniformity in $R$. A higher $H(R)$ indicates that $R$ has greater feature diversity which is useful for generalization to downstream tasks. Alongside dimensionality optimization, SSL algorithms also utilize a projection head that maps $R$ into an embedding space $Z$. Recent work has characterized the projection head as a filter of noisy or irrelevant features from the SSL objective by reducing the mutual information $I(R;Z)$. Therefore, the current literature's view is that a good SSL representation space should have a high $H(R)$ and a low $I(R;Z)$. However, this view of SSL is lacking in terms of an understanding of the underlying training dynamics that influences the relationship between both terms. Our analysis shows that the best performing SSL models do not have the highest $H(R)$ nor the lowest $I(R;Z)$, but effectively arrive at a balance between both. To take advantage of this analysis, we introduce AdaDim, a training strategy that leverages SSL training dynamics by adaptively balancing between increasing $H(R)$ through feature decorrelation and sample uniformity as well as gradual regularization of $I(R;Z)$ as training progresses. We show performance improvements of up to 3% over common SSL baselines despite our method not utilizing expensive techniques such as queues, clustering, predictor networks, or student-teacher architectures.
- Abstract（参考訳）: 有効自己監督学習(SSL)の鍵となる要素は、高次元の表現空間(R$)が低次元の部分空間にまたがる次元の崩壊を防ぐことである。
したがって、SSL最適化戦略では、モデルに高次元の$R$(H(R)$)を生成するように誘導する。
高い$H(R)$は、$R$が下流タスクへの一般化に役立つより大きな特徴多様性を持つことを示している。
次元最適化の他に、SSLアルゴリズムはプロジェクションヘッドを使用し、$R$を埋め込みスペース$Z$にマッピングする。
最近の研究は、プロジェクションヘッドを、相互情報$I(R;Z)$を減らし、SSLの目的からノイズや無関係な特徴のフィルタとして特徴付けている。
したがって、現在の文献の見解では、良いSSL表現空間は高い$H(R)$と低い$I(R;Z)$を持つべきである。
しかし、SSLのこの見解は、両方の用語の関係に影響を与える基礎となるトレーニングダイナミクスの理解において欠落している。
我々の分析によると、最高のSSLモデルは最高$H(R)$や最低$I(R;Z)$を持っていないが、実質的に両者のバランスが取れている。
この分析を生かしたAdaDimは、SSLトレーニングのダイナミックスを活用するトレーニング戦略であり、機能デコリレーションとサンプルの均一性を通じて$H(R)$の増大と、トレーニングの進行とともに$I(R;Z)$の段階的な正規化を適応的にバランスさせることで、SSLトレーニングのダイナミクスを活用する。
提案手法では,キューやクラスタリング,予測ネットワーク,学生-教師アーキテクチャといった高価なテクニックを使わずに,一般的なSSLベースラインに対して最大3%の性能向上を示す。
関連論文リスト
- Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。
Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
論文 参考訳（メタデータ） (2025-05-27T07:23:42Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning [6.559788182871813]
分散ロバスト強化学習(DR-RL)は,最近,訓練環境と試験環境の相違に対処する原則的アプローチとして注目されている。
堅牢性、保守性、および計算トレーサビリティのバランスをとるため、文献はSA-正方形およびS-正方形対向を持つDR-RLモデルを導入した。
発散型S矩形DR-RLに対する実験値反復アルゴリズムについて検討し, ほぼ最適サンプル複雑性境界を確立する。
論文 参考訳（メタデータ） (2025-05-18T02:35:39Z) - A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [32.98264375121064]
Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
論文 参考訳（メタデータ） (2024-10-28T01:36:25Z) - NGD converges to less degenerate solutions than SGD [0.5249805590164902]
モデルの自由パラメータ(次元)の数は、その複雑さを測る簡単な方法である。
しかし、これは正確な複雑さの尺度ではない。トレーニングデータを記憶できるモデルは、高次元にもかかわらずしばしば一般化される。
有効ディメンションは、モデルの機能性を表すのに必要なパラメータの数だけを数えることで、モデルの複雑さをより直接的に捉えることを目的としています。
論文 参考訳（メタデータ） (2024-09-07T21:27:49Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。
本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。
提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-11-20T17:44:40Z) - Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。
最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
論文 参考訳（メタデータ） (2023-03-02T00:57:38Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳（メタデータ） (2022-06-02T17:27:49Z) - Settling the Sample Complexity of Model-Based Offline Reinforcement
Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。
事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。
モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文 参考訳（メタデータ） (2022-04-11T17:26:19Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2021-10-09T21:13:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。