論文の概要: Self-Supervised Learning from Structural Invariance

• arxiv url: http://arxiv.org/abs/2602.02381v1
• Date: Mon, 02 Feb 2026 17:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.331261
• Title: Self-Supervised Learning from Structural Invariance
• Title（参考訳）: 構造的不変性からの自己教師付き学習
• Authors: Yipeng Zhang, Hafez Ghaemi, Jungyoon Lee, Shahab Bakhtiari, Eilif B. Muller, Laurent Charlin,
• Abstract要約: 共同埋め込み型自己教師あり学習(SSL)における一対多マッピング問題について検討する。 既存の手法はこの条件の不確かさを柔軟に捉えるのに苦労していることを示す。 ビデオ上での因果表現学習、きめ細かい画像理解、世界モデリングにおいて、その汎用性を実証的に示す。
• 参考スコア（独自算出の注目度）: 6.07374214141791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-embedding self-supervised learning (SSL), the key paradigm for unsupervised representation learning from visual data, learns from invariances between semantically-related data pairs. We study the one-to-many mapping problem in SSL, where each datum may be mapped to multiple valid targets. This arises when data pairs come from naturally occurring generative processes, e.g., successive video frames. We show that existing methods struggle to flexibly capture this conditional uncertainty. As a remedy, we introduce a latent variable to account for this uncertainty and derive a variational lower bound on the mutual information between paired embeddings. Our derivation yields a simple regularization term for standard SSL objectives. The resulting method, which we call AdaSSL, applies to both contrastive and distillation-based SSL objectives, and we empirically show its versatility in causal representation learning, fine-grained image understanding, and world modeling on videos.
• Abstract（参考訳）: 視覚データから教師なし表現学習を行うための重要なパラダイムである自己教師付き学習(SSL)は、意味論的に関連するデータペア間の不変性から学習する。 SSLにおける1対1のマッピング問題について検討し、各ダタムを複数の有効なターゲットにマッピングする。 これは、データペアが自然に発生する生成プロセス、例えば連続するビデオフレームから生まれるときに発生する。 既存の手法はこの条件の不確かさを柔軟に捉えるのに苦労していることを示す。 この不確実性を考慮に入れた潜在変数を導入し、ペア埋め込み間の相互情報に対する変動的な下界を導出する。 我々の導出は標準SSLの目的に対して単純な正規化項を与える。 AdaSSLと呼ばれるこの手法は、コントラストと蒸留に基づくSSLの目的の両方に適用し、因果表現学習、きめ細かい画像理解、そしてビデオ上の世界モデリングにおいて、その汎用性を実証的に示す。

関連論文リスト

• Revisiting semi-supervised learning in the era of foundation models [35.44676829010657]
  半教師付き学習(SSL)は、ラベル付きデータとともに豊富なラベル付きデータを活用して学習を強化する。 我々は,凍結視覚基盤モデル(VFM)が性能的に劣るSSLベンチマークデータセットを開発し,代表的なSSLメソッドを体系的に評価する。 ラベル付きデータのみを用いたパラメータ効率細調整(PEFT)は、ラベルなしデータを活用することなく、SSLのパフォーマンスとよく一致します。 ノイズの多い擬似ラベルの悪名高い問題を克服するため,より堅牢な擬似ラベルを生成するために,複数のPEFTアプローチとVFMバックボーンのアンサンブルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T18:01:10Z)
• Where Did Your Model Learn That? Label-free Influence for Self-supervised Learning [0.48933451909251774]
  自己教師型学習は、大規模なラベルなしデータセットからの学習に革命をもたらした。 事前学習データと学習表現との序文的関係はいまだに理解されていない。 SSLに適した影響関数を定義するための,新規かつラベルフリーなアプローチであるEmpfect-SSLを紹介する。
  論文  参考訳（メタデータ） (2024-12-22T21:43:56Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
  我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。 SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。 この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
  論文  参考訳（メタデータ） (2021-06-15T17:51:16Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。