論文の概要: Dual Perspectives on Non-Contrastive Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2507.01028v2
• Date: Tue, 14 Oct 2025 12:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 14:23:56.783766
• Title: Dual Perspectives on Non-Contrastive Self-Supervised Learning
• Title（参考訳）: 非コントラスト型自己監督型学習の両面的展望
• Authors: Jean Ponce, Basile Terver, Martial Hebert, Michael Arbel,
• Abstract要約: エムストップ勾配とエム指数移動平均反復手順は、自己教師あり学習への非競合的なアプローチで一般的に用いられる。 本発表では、最適化と動的システムの両面からこれらの手順を考察する。
• 参考スコア（独自算出の注目度）: 32.03781358157968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The {\em stop gradient} and {\em exponential moving average} iterative procedures are commonly used in non-contrastive approaches to self-supervised learning to avoid representation collapse, with excellent performance in downstream applications in practice. This presentation investigates these procedures from the dual viewpoints of optimization and dynamical systems. We show that, in general, although they {\em do not} optimize the original objective, or {\em any} other smooth function, they {\em do} avoid collapse Following~\citet{Tian21}, but without any of the extra assumptions used in their proofs, we then show using a dynamical system perspective that, in the linear case, minimizing the original objective function without the use of a stop gradient or exponential moving average {\em always} leads to collapse. Conversely, we characterize explicitly the equilibria of the dynamical systems associated with these two procedures in this linear setting as algebraic varieties in their parameter space, and show that they are, in general, {\em asymptotically stable}. Our theoretical findings are illustrated by empirical experiments with real and synthetic data.
• Abstract（参考訳）: 停止勾配(英語版)および指数移動平均(英語版)反復手順(英語版)は、表現の崩壊を避けるための自己教師あり学習への非競合的なアプローチで一般的に使われ、実際に下流のアプリケーションでは優れた性能を持つ。 本発表では、最適化と動的システムの両面からこれらの手順を考察する。 一般に、それらは元の目的を最適化したり、他の滑らかな関数を最適化するわけではないが、それらは崩壊を回避し、従～\citet{Tian21} であるが、証明で使われる余分な仮定がなければ、線形の場合、停止勾配や指数的な移動平均を使わずに元の目的関数を最小化することが動的システムの観点から示される。 逆に、この線型設定においてこれらの2つの手順に関連する力学系の平衡をパラメータ空間の代数多様体として明示的に特徴づけ、それらが一般には漸近的に安定であることを示す。 本研究は,実データおよび合成データを用いた実証実験により考察した。

関連論文リスト

• On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem [3.4376560669160394]
  ヘッセン障壁法とミラー降下法は連続流の離散近似として解釈できることを示す。 厳密な相補性条件が成立すれば、これらの急激な定常点を回避できるような2つの十分な条件を提供する。
  論文  参考訳（メタデータ） (2025-07-21T05:58:52Z)
• Contrastive Matrix Completion with Denoising and Augmented Graph Views for Robust Recommendation [1.0128808054306186]
  マトリックス補完は推薦システムにおいて広く採用されているフレームワークである。 コントラスト学習(MCCL)を用いた行列補完法を提案する。 提案手法は,予測スコアの数値精度を向上するだけでなく,ランキング指標の最大36%を向上する上で,優れたランキングを生成する。
  論文  参考訳（メタデータ） (2025-06-12T12:47:35Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks [34.79650838578354]
  2つの異なる種類のオラクルを利用する新しいフレームワークを導入する。 指数的メカニズムは高い集団リスクバウンドを達成でき、ほぼ一致する低いバウンドを提供することを示す。
  論文  参考訳（メタデータ） (2023-02-20T00:11:19Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations [8.163697683448811]
  本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。 対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。 標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
  論文  参考訳（メタデータ） (2021-06-07T14:02:49Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。