論文の概要: Understanding Self-Supervised Learning via Latent Distribution Matching

• arxiv url: http://arxiv.org/abs/2605.03517v1
• Date: Tue, 05 May 2026 08:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.856599
• Title: Understanding Self-Supervised Learning via Latent Distribution Matching
• Title（参考訳）: 潜在分布マッチングによる自己指導型学習の理解
• Authors: Fabian A Mikulasch, Friedemann Zenke,
• Abstract要約: 自己教師付き学習(SSL)は、複雑なデータから汎用的な潜在表現を見つけるのに長けているが、様々な既存メソッドを説明し、新しいデータの設計を導く統一理論の枠組みは欠如している。 我々はSSLを潜在分布マッチング(LDM)として、仮定された潜在モデル(アライメント)の下でログ確率を最大化する学習表現とした。 この見解は、ストップ勾配アプローチを含む、コントラスト的、非コントラスト的、予測的なSSLメソッドで独立したコンポーネント分析を統一する。
• 参考スコア（独自算出の注目度）: 8.228889210180268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) excels at finding general-purpose latent representations from complex data, yet lacks a unifying theoretical framework that explains the diverse existing methods and guides the design of new ones. We cast SSL as latent distribution matching (LDM): learning representations that maximize their log-probability under an assumed latent model (alignment), while maximizing latent entropy to prevent collapse (uniformity). This view unifies independent component analysis with contrastive, non-contrastive, and predictive SSL methods, including stop gradient approaches. Leveraging LDM, we derive a nonlinear, sampling-free Bayesian filtering model with a Kalman-based predictor for high-dimensional timeseries. We further prove that predictive LDM yields identifiable latent representations under mild assumptions, even with nonlinear predictors. Overall, LDM clarifies the assumptions behind established SSL methods and provides principled guidance for developing new approaches.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、複雑なデータから汎用的な潜在表現を見つけるのに長けているが、様々な既存メソッドを説明し、新しいデータの設計を導く統一理論の枠組みは欠如している。 我々はSSLを潜在分布マッチング(LDM: Latent Distribution matching)として、仮定された潜在モデル(アライメント)の下でログ確率を最大化する学習表現とし、遅延エントロピーを最大化して崩壊(均一性)を防ぐ。 この見解は、ストップ勾配アプローチを含む、コントラスト的、非コントラスト的、予測的なSSLメソッドで独立したコンポーネント分析を統一する。 LDMを活用することで、高次元時空に対するカルマンに基づく予測器を用いた非線形でサンプリング不要なベイズフィルタモデルを導出する。 さらに、予測LDMは、非線形予測器であっても、軽微な仮定の下で識別可能な潜在表現が得られることを証明した。 全体として、LDMは確立されたSSLメソッドの背後にある仮定を明確にし、新しいアプローチを開発するための原則化されたガイダンスを提供する。

関連論文リスト

• Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions [3.060720241524644]
  遅延非線形 denoising score matching (LNDSM) を提案する。 LNDSMは、非線形フォワードダイナミクスとVAEベースの潜在SGMフレームワークを統合するスコアベース生成モデルの新たなトレーニング目標である。 MNISTデータセットの変種に関する実験により、提案手法は自然に構造化された分布のより高速な合成と学習を実現することを示した。
  論文  参考訳（メタデータ） (2025-12-07T01:17:14Z)
• Maximum Likelihood Learning of Latent Dynamics Without Reconstruction [9.186673054867864]
  遅延動的構造を持つ時系列データに対する新しい教師なし学習手法:認識パラメタ化ガウス状態空間モデル(RP-GSSM)を提案する。 RP-GSSMは、異なる時間ステップにおける観測間の統計的依存を説明するマルコフ・ガウシアン潜伏子を学習する確率論的モデルである。 ビデオから非線形ダイナミクスを学習することを含む問題に対して、バックグラウンドイントラクタの有無にかかわらず、このアプローチがいかに優れているかを示す。
  論文  参考訳（メタデータ） (2025-05-29T15:44:20Z)
• Hybrid Latent Reasoning via Reinforcement Learning [50.6763762323985]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage? [35.15844215216846]
  EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。 近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。 本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。 我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
  論文  参考訳（メタデータ） (2024-02-09T03:23:39Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。