論文の概要: Self-Supervised Learning with Kernel Dependence Maximization
- arxiv url: http://arxiv.org/abs/2106.08320v1
- Date: Tue, 15 Jun 2021 17:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 15:37:14.539217
- Title: Self-Supervised Learning with Kernel Dependence Maximization
- Title（参考訳）: カーネル依存最大化による自己教師付き学習
- Authors: Yazhe Li and Roman Pogodin and Danica J. Sutherland and Arthur Gretton
- Abstract要約: 我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。
SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。
この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
- 参考スコア（独自算出の注目度）: 23.618292038419654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We approach self-supervised learning of image representations from a
statistical dependence perspective, proposing Self-Supervised Learning with the
Hilbert-Schmidt Independence Criterion (SSL-HSIC). SSL-HSIC maximizes
dependence between representations of transformed versions of an image and the
image identity, while minimizing the kernelized variance of those features.
This self-supervised learning framework yields a new understanding of InfoNCE,
a variational lower bound on the mutual information (MI) between different
transformations. While the MI itself is known to have pathologies which can
result in meaningless representations being learned, its bound is much better
behaved: we show that it implicitly approximates SSL-HSIC (with a slightly
different regularizer). Our approach also gives us insight into BYOL, since
SSL-HSIC similarly learns local neighborhoods of samples. SSL-HSIC allows us to
directly optimize statistical dependence in time linear in the batch size,
without restrictive data assumptions or indirect mutual information estimators.
Trained with or without a target network, SSL-HSIC matches the current
state-of-the-art for standard linear evaluation on ImageNet, semi-supervised
learning and transfer to other classification and vision tasks such as semantic
segmentation, depth estimation and object recognition.
- Abstract（参考訳）: 我々は,統計的依存の観点からイメージ表現の自己教師型学習にアプローチし,Hilbert-Schmidt Independence Criterion (SSL-HSIC)による自己監督型学習を提案する。
SSL-HSICは、画像の変換されたバージョンの表現と画像の同一性の間の依存を最大化し、これらの特徴のカーネル化された分散を最小化する。
この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
mi自体が無意味な表現を学習できる病理を持っていることは知られているが、その境界はよりよく振る舞う: 暗黙的にssl-hsicに近似している(若干異なる正規化子を持つ)。
SSL-HSICも同様にサンプルの近傍を学習するため,BYOLに関する洞察も得られる。
SSL-HSICにより、制約のあるデータ仮定や間接的な相互情報推定装置を使わずに、バッチサイズで線形な時間における統計的依存を直接最適化できる。
SSL-HSICは、ターゲットネットワークの有無にかかわらず、ImageNetの標準的な線形評価、半教師付き学習、セマンティックセグメンテーション、深さ推定、オブジェクト認識などの他の分類および視覚タスクへの転送のための現在の最先端技術と一致する。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文 参考訳（メタデータ） (2023-05-31T12:24:06Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳（メタデータ） (2023-05-24T23:15:28Z) - Explaining, Analyzing, and Probing Representations of Self-Supervised
Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。
本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
論文 参考訳（メタデータ） (2023-04-14T07:53:59Z) - Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。
本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。
我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
論文 参考訳（メタデータ） (2022-12-23T15:46:23Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。
大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。
また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
論文 参考訳（メタデータ） (2022-03-14T10:04:04Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z) - Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。
SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。
gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
論文 参考訳（メタデータ） (2021-02-22T03:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。