論文の概要: Information theoretic underpinning of self-supervised learning by clustering

• arxiv url: http://arxiv.org/abs/2605.11870v1
• Date: Tue, 12 May 2026 09:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.772735
• Title: Information theoretic underpinning of self-supervised learning by clustering
• Title（参考訳）: クラスタリングによる自己教師型学習の情報理論的基盤
• Authors: Josef Kittler, Sara Atito, Muhammad Awais,
• Abstract要約: 自己教師型学習は、人工知能アプリケーションの基礎モデルを構築するための重要なツールとして認識されている。 本稿では,SSLの基盤となる理論の発展に寄与し,深層クラスタリングのアプローチに着目する。
• 参考スコア（独自算出の注目度）: 40.93784694440709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) is recognized as an essential tool for building foundation models for Artificial Intelligence applications. The advances in SSL have been made thanks to vigorous arguments about the principles of SSL and through extensive empirical research. The aim of this paper is to contribute to the development of the underpinning theory of SSL, focusing on the deep clustering approach. By analogy to supervised learning, we formulate SSL as K-L divergence optimization. The mode collapse is prevented by imposing an optimisation constraint on the teacher distribution. This leads to normalization using inverse cluster priors. We show that using Jensen inequality this normalization simplifies to the popular batch centering procedure. Distillation and centering are common {heuristics-based} practices in SSL, {but our work underpins them theoretically.} The theoretical model developed not only supports specific existing successful SSL methods, but also suggests directions for future investigations.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、人工知能アプリケーションの基礎モデルを構築する上で不可欠なツールとして認識されている。 SSLの進歩は、SSLの原則に関する活発な議論と、広範な実証研究によるものである。 本研究の目的は,深層クラスタリングに焦点をあて,SSLの基盤となる理論の発展に寄与することである。 教師付き学習と類似して、SSLをK-L分散最適化として定式化する。 教師分布に最適化制約を課すことによりモード崩壊を防止する。 これにより、逆クラスタプリエントを使用した正規化が実現される。 我々は、Jensenの不等式を用いることで、この正規化が一般的なバッチ中心化手順を単純化することを示す。 蒸留と集中はSSLで一般的な‘ヒューリスティックス(heuristics)’プラクティスです。 理論モデルでは、特定のSSLメソッドをサポートするだけでなく、今後の調査の方向性も示唆している。

関連論文リスト

• Supercm: Revisiting Clustering for Semi-Supervised Learning [12.324453023412142]
  本研究では,半教師付き学習(SSL)の基盤となるクラスタリング仮定を明示的に取り入れた新しい手法を提案する。 我々は、アノテートされたデータを利用して、クラスタセントロイドの結果を単純なエンドツーエンドのトレーニング可能なディープSSLアプローチでガイドします。 提案したモデルでは,教師付きベースラインよりもパフォーマンスが向上し,他のSSLメソッドと組み合わせて,パフォーマンスをさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-30T13:17:08Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、様々な視覚的タスクで顕著な成功を収めた。 しかし、差別性という点では、SSLは依然として教師あり学習(SL)と同等ではない。 本稿では,異なるクラスの特徴が十分に分離されていない「群集問題」について論じる。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。