論文の概要: Understanding Representation Learnability of Nonlinear Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2401.03214v1
• Date: Sat, 6 Jan 2024 13:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 19:49:31.346678
• Title: Understanding Representation Learnability of Nonlinear Self-Supervised Learning
• Title（参考訳）: 非線形自己監督学習における表現学習可能性の理解
• Authors: Ruofeng Yang, Xiangyuan Li, Bo Jiang, Shuai Li
• Abstract要約: 自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
• 参考スコア（独自算出の注目度）: 13.965135660149212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has empirically shown its data representation learnability in many downstream tasks. There are only a few theoretical works on data representation learnability, and many of those focus on final data representation, treating the nonlinear neural network as a ``black box". However, the accurate learning results of neural networks are crucial for describing the data distribution features learned by SSL models. Our paper is the first to analyze the learning results of the nonlinear SSL model accurately. We consider a toy data distribution that contains two features: the label-related feature and the hidden feature. Unlike previous linear setting work that depends on closed-form solutions, we use the gradient descent algorithm to train a 1-layer nonlinear SSL model with a certain initialization region and prove that the model converges to a local minimum. Furthermore, different from the complex iterative analysis, we propose a new analysis process which uses the exact version of Inverse Function Theorem to accurately describe the features learned by the local minimum. With this local minimum, we prove that the nonlinear SSL model can capture the label-related feature and hidden feature at the same time. In contrast, the nonlinear supervised learning (SL) model can only learn the label-related feature. We also present the learning processes and results of the nonlinear SSL and SL model via simulation experiments.
• Abstract（参考訳）: self-supervised learning (ssl) は多くのダウンストリームタスクでデータ表現学習性を実証的に示している。 データ表現の学習性に関する理論的研究はごくわずかであり、その多くは最終データ表現に焦点を当て、非線形ニューラルネットワークを『ブラックボックス』として扱う。 しかし、ニューラルネットワークの正確な学習結果は、SSLモデルによって学習されたデータ分散機能を記述する上で重要である。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。 ラベル関連機能と隠蔽機能という,2つの特徴を含む玩具データ分布を考察する。 閉形式解に依存する従来の線形設定法とは異なり、勾配降下法を用いて特定の初期化領域を持つ1層非線形SSLモデルを訓練し、モデルが局所最小値に収束することを証明する。 さらに, 複素反復解析とは違って, 局所最小値で学習した特徴を正確に記述するために, 逆関数定理の正確なバージョンを用いた解析プロセスを提案する。 この局所最小値を用いて、非線形SSLモデルがラベル関連特徴と隠蔽特徴を同時にキャプチャできることを証明した。 対照的に、非線形教師あり学習(SL)モデルはラベルに関連した特徴しか学習できない。 また,非線形sslおよびslモデルの学習過程と結果についてシミュレーション実験により述べる。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Functional Nonlinear Learning [0.0]
  低次元特徴空間における多変量関数データを表現する機能非線形学習法(FunNoL)を提案する。 本研究では,FunNoLがデータ間隔によらず,良好な曲線分類と再構成を提供することを示す。
  論文  参考訳（メタデータ） (2022-06-22T23:47:45Z)
• Understanding the Role of Nonlinearity in Training Dynamics of Contrastive Learning [37.27098255569438]
  本研究では,1層および2層非線形ネットワーク上でのコントラスト学習(CL)の学習力学における非線形性の役割について検討する。 非線形性の存在は1層設定においても多くの局所最適性をもたらすことを示す。 グローバルレベルパターンの観点から識別可能な局所パターンを優先的に学習する。
  論文  参考訳（メタデータ） (2022-06-02T23:52:35Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。