論文の概要: Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning

• arxiv url: http://arxiv.org/abs/2505.12477v1
• Date: Sun, 18 May 2025 15:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.258236
• Title: Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
• Title（参考訳）: 共同埋め込みと再構成:自己指導型学習における潜時空間予測の有用性
• Authors: Hugues Van Assel, Mark Ibrahim, Tommaso Biancalani, Aviv Regev, Randall Balestriero,
• Abstract要約: 自己監視学習(SSL)における2つの主要なパラダイムとして再構築と共同埋め込みが登場している。 どちらのアプローチも強力なアドバンテージを提供するが、実践者はそれらを選択するための明確なガイドラインを欠いている。
• 参考スコア（独自算出の注目度）: 16.515613048905674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstruction and joint embedding have emerged as two leading paradigms in Self Supervised Learning (SSL). Reconstruction methods focus on recovering the original sample from a different view in input space. On the other hand, joint embedding methods align the representations of different views in latent space. Both approaches offer compelling advantages, yet practitioners lack clear guidelines for choosing between them. In this work, we unveil the core mechanisms that distinguish each paradigm. By leveraging closed form solutions for both approaches, we precisely characterize how the view generation process, e.g. data augmentation, impacts the learned representations. We then demonstrate that, unlike supervised learning, both SSL paradigms require a minimal alignment between augmentations and irrelevant features to achieve asymptotic optimality with increasing sample size. Our findings indicate that in scenarios where these irrelevant features have a large magnitude, joint embedding methods are preferable because they impose a strictly weaker alignment condition compared to reconstruction based methods. These results not only clarify the trade offs between the two paradigms but also substantiate the empirical success of joint embedding approaches on real world challenging datasets.
• Abstract（参考訳）: 再構築と共同埋め込みは、自己監視学習(SSL)において2つの主要なパラダイムとして登場した。 レコンストラクション手法は、入力空間の異なる視点から元のサンプルを復元することに焦点を当てている。 一方、結合埋め込み法は、潜在空間における異なるビューの表現を整列させる。 どちらのアプローチも強力なアドバンテージを提供するが、実践者はそれらを選択するための明確なガイドラインを欠いている。 本研究では,各パラダイムを識別するコアメカニズムを明らかにする。 両アプローチのクローズドフォームソリューションを利用することで、ビュー生成プロセス、例えばデータ拡張が学習した表現にどのように影響するかを正確に特徴付ける。 次に、教師付き学習とは異なり、両方のSSLパラダイムは、サンプルサイズの増加とともに漸近的最適性を達成するために、拡張と無関係な特徴の最小限のアライメントを必要とすることを実証する。 以上の結果から,これら無関係な特徴が大規模である場合,再建法に比べて厳密なアライメント条件を課すため,関節埋込み法が望ましいことが示唆された。 これらの結果は、2つのパラダイム間のトレードオフを明確にするだけでなく、実世界の挑戦的なデータセットに対する共同埋め込みアプローチの実証的な成功を裏付けるものである。

関連論文リスト

• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition [16.412306012741354]
  本稿では,FoCoViL(Focalized Contrastive View-invariant Learning)という自己教師型フレームワークを提案する。 FoCoViLは、視点が粗い整列された表現空間上のビュー固有情報を著しく抑制する。 アクションと共通のビュー不変プロパティを関連付け、異種プロパティを同時に分離する。
  論文  参考訳（メタデータ） (2023-04-03T10:12:30Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• On the duality between contrastive and non-contrastive self-supervised learning [0.0]
  自己指導型学習は、対照的なアプローチと非対照的なアプローチに分けることができる。 コントラストと非コントラストの家族がいかに近いかを示します。 また、下流のパフォーマンスにデザイン選択の影響(またはその欠如)を示す。
  論文  参考訳（メタデータ） (2022-06-03T08:04:12Z)
• Concurrent Discrimination and Alignment for Self-Supervised Feature Learning [52.213140525321165]
  既存の自己指導型学習手法は,(1)どの特徴が分離されるべきかを明確に示すこと,あるいは(2)どの特徴が閉じるべきかを明確に示すこと,のいずれかのプリテキストタスクを用いて学習する。 本研究では,識別・調整手法の正の側面を組み合わせて,上記の課題に対処するハイブリッド手法を設計する。 本手法は,識別的予測タスクによってそれぞれ反発とアトラクションのメカニズムを明確に特定し,ペアビュー間の相互情報を同時に最大化する。 確立された9つのベンチマーク実験により,提案モデルが自己監督と移動の既成結果より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-19T09:07:41Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。