論文の概要: Collapse-Proof Non-Contrastive Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2410.04959v3
• Date: Sat, 07 Jun 2025 21:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:09.113215
• Title: Collapse-Proof Non-Contrastive Self-Supervised Learning
• Title（参考訳）: 非コントラスト型自己監督学習の崩壊証明
• Authors: Emanuele Sansone, Tim Lebailly, Tinne Tuytelaars,
• Abstract要約: 我々は、これらの特性を明示的に強制することなく、表現を同時に非相関かつクラスタ化することを奨励する帰納的バイアスを導入する。 このバイアスは、表現、次元、クラスタ、クラスタ内崩壊といった既知のトレーニング失敗モードを避けるために、一般化と充足を確実に促進する。 提案手法は,クラスタリングや線形分類タスクにおいて,強力な一般化を実現しつつ,学習障害モードを克服し,特徴デコリレーションとクラスタベースの自己教師付き学習手法の強みを効果的に組み合わせたものである。
• 参考スコア（独自算出の注目度）: 38.954703718841245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a principled and simplified design of the projector and loss function for non-contrastive self-supervised learning based on hyperdimensional computing. We theoretically demonstrate that this design introduces an inductive bias that encourages representations to be simultaneously decorrelated and clustered, without explicitly enforcing these properties. This bias provably enhances generalization and suffices to avoid known training failure modes, such as representation, dimensional, cluster, and intracluster collapses. We validate our theoretical findings on image datasets, including SVHN, CIFAR-10, CIFAR-100, and ImageNet-100. Our approach effectively combines the strengths of feature decorrelation and cluster-based self-supervised learning methods, overcoming training failure modes while achieving strong generalization in clustering and linear classification tasks.
• Abstract（参考訳）: 超次元計算に基づく非コントラスト型自己教師あり学習のためのプロジェクタと損失関数の原理と簡易設計を提案する。 この設計は、これらの特性を明示的に強制することなく、表現を同時に非相関かつクラスタ化することを奨励する帰納的バイアスを導入することを理論的に実証する。 このバイアスは、表現、次元、クラスタ、クラスタ内崩壊といった既知のトレーニング失敗モードを避けるために、一般化と充足を確実に促進する。 我々はSVHN, CIFAR-10, CIFAR-100, ImageNet-100などの画像データセットに関する理論的知見を検証した。 提案手法は,クラスタリングや線形分類タスクにおいて,強力な一般化を実現しつつ,学習障害モードを克服し,特徴デコリレーションとクラスタベースの自己教師付き学習手法の強みを効果的に組み合わせたものである。

関連論文リスト

• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
  本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
  論文  参考訳（メタデータ） (2021-11-01T07:39:38Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。