論文の概要: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics

• arxiv url: http://arxiv.org/abs/2505.12576v2
• Date: Wed, 08 Oct 2025 14:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:17.994089
• Title: AdaDim: Dimensionality Adaptation for SSL Representational Dynamics
• Title（参考訳）: AdaDim:SSL表現ダイナミクスのための次元適応
• Authors: Kiran Kokilepersaud, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 効果的な自己監視学習(SSL)の鍵となる要素は、次元的崩壊を防ぐことである。 良いSSL表現空間は高い$H(R)$と低い$I(R;Z)$を持つべきである。 最高のSSLモデルは、最高$H(R)$も最低$I(R;Z)$も持たないが、実質的に両者のバランスを保っていることを示す。
• 参考スコア（独自算出の注目度）: 13.068234143496335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key factor in effective Self-Supervised learning (SSL) is preventing dimensional collapse, where higher-dimensional representation spaces ($R$) span a lower-dimensional subspace. Therefore, SSL optimization strategies involve guiding a model to produce $R$ with a higher dimensionality ($H(R)$) through objectives that encourage decorrelation of features or sample uniformity in $R$. A higher $H(R)$ indicates that $R$ has greater feature diversity which is useful for generalization to downstream tasks. Alongside dimensionality optimization, SSL algorithms also utilize a projection head that maps $R$ into an embedding space $Z$. Recent work has characterized the projection head as a filter of noisy or irrelevant features from the SSL objective by reducing the mutual information $I(R;Z)$. Therefore, the current literature's view is that a good SSL representation space should have a high $H(R)$ and a low $I(R;Z)$. However, this view of SSL is lacking in terms of an understanding of the underlying training dynamics that influences the relationship between both terms. Our analysis shows that the best performing SSL models do not have the highest $H(R)$ nor the lowest $I(R;Z)$, but effectively arrive at a balance between both. To take advantage of this analysis, we introduce AdaDim, a training strategy that leverages SSL training dynamics by adaptively balancing between increasing $H(R)$ through feature decorrelation and sample uniformity as well as gradual regularization of $I(R;Z)$ as training progresses. We show performance improvements of up to 3% over common SSL baselines despite our method not utilizing expensive techniques such as queues, clustering, predictor networks, or student-teacher architectures.
• Abstract（参考訳）: 有効自己監督学習(SSL)の鍵となる要素は、高次元の表現空間(R$)が低次元の部分空間にまたがる次元の崩壊を防ぐことである。 したがって、SSL最適化戦略では、モデルに高次元の$R$(H(R)$)を生成するように誘導する。 高い$H(R)$は、$R$が下流タスクへの一般化に役立つより大きな特徴多様性を持つことを示している。 次元最適化の他に、SSLアルゴリズムはプロジェクションヘッドを使用し、$R$を埋め込みスペース$Z$にマッピングする。 最近の研究は、プロジェクションヘッドを、相互情報$I(R;Z)$を減らし、SSLの目的からノイズや無関係な特徴のフィルタとして特徴付けている。 したがって、現在の文献の見解では、良いSSL表現空間は高い$H(R)$と低い$I(R;Z)$を持つべきである。 しかし、SSLのこの見解は、両方の用語の関係に影響を与える基礎となるトレーニングダイナミクスの理解において欠落している。 我々の分析によると、最高のSSLモデルは最高$H(R)$や最低$I(R;Z)$を持っていないが、実質的に両者のバランスが取れている。 この分析を生かしたAdaDimは、SSLトレーニングのダイナミックスを活用するトレーニング戦略であり、機能デコリレーションとサンプルの均一性を通じて$H(R)$の増大と、トレーニングの進行とともに$I(R;Z)$の段階的な正規化を適応的にバランスさせることで、SSLトレーニングのダイナミクスを活用する。 提案手法では,キューやクラスタリング,予測ネットワーク,学生-教師アーキテクチャといった高価なテクニックを使わずに,一般的なSSLベースラインに対して最大3%の性能向上を示す。

関連論文リスト

• Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models [50.99097734404912]
  RLフレンドリなモデルでは, クラス内コンパクト性やクラス間分離が, 正誤応答に対する確率割当に現れることを示す。 6つの数学ベンチマークによる実験では、すべてのモデルファミリで一貫した改善が見られ、AIME24では5.9ポイントまで向上した。
  論文  参考訳（メタデータ） (2026-01-11T13:34:44Z)
• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
  低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning [6.559788182871813]
  分散ロバスト強化学習(DR-RL)は,最近,訓練環境と試験環境の相違に対処する原則的アプローチとして注目されている。 堅牢性、保守性、および計算トレーサビリティのバランスをとるため、文献はSA-正方形およびS-正方形対向を持つDR-RLモデルを導入した。 発散型S矩形DR-RLに対する実験値反復アルゴリズムについて検討し, ほぼ最適サンプル複雑性境界を確立する。
  論文  参考訳（メタデータ） (2025-05-18T02:35:39Z)
• The Limits of Transfer Reinforcement Learning with Latent Low-rank Structure [9.631640936820126]
  多くの強化学習アルゴリズムは、問題の状態と行動空間のA$であるSが大きすぎるため、実際に使用するには高すぎる。 我々は、ソースとターゲットのMDPが遷移カーネルを持つ場合、遅延低ランク表現を転送する問題を考察する。 提案アルゴリズムは,各ソースMDPの潜在表現を学習し,その線形構造を利用して,ターゲットMDPの後悔境界における$S,A$,あるいは$SA$への依存を除去する。
  論文  参考訳（メタデータ） (2024-10-28T23:12:08Z)
• A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [32.98264375121064]
  Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。 本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T01:36:25Z)
• Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
  情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。 本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。 オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
  論文  参考訳（メタデータ） (2024-10-13T00:14:08Z)
• The Optimization Landscape of SGD Across the Feature Learning Strength [102.1353410293931]
  オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。 最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。 以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-06T22:30:14Z)
• NGD converges to less degenerate solutions than SGD [0.5249805590164902]
  モデルの自由パラメータ(次元)の数は、その複雑さを測る簡単な方法である。 しかし、これは正確な複雑さの尺度ではない。トレーニングデータを記憶できるモデルは、高次元にもかかわらずしばしば一般化される。 有効ディメンションは、モデルの機能性を表すのに必要なパラメータの数だけを数えることで、モデルの複雑さをより直接的に捉えることを目的としています。
  論文  参考訳（メタデータ） (2024-09-07T21:27:49Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning [14.937324556028548]
  本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
  論文  参考訳（メタデータ） (2024-01-22T01:57:31Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [67.66904892192794]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
  グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。 最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
  論文  参考訳（メタデータ） (2023-03-02T00:57:38Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
  オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。 事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。 モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-11T17:26:19Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。