論文の概要: Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2105.15134v1
• Date: Mon, 31 May 2021 16:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:50:57.995602
• Title: Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning
• Title（参考訳）: 自己教師付きコントラスト学習の特徴学習プロセス理解に向けて
• Authors: Zixin Wen, Yuanzhi Li
• Abstract要約: 本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
• 参考スコア（独自算出の注目度）: 43.504548777955854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can neural networks trained by contrastive learning extract features from the unlabeled data? Why does contrastive learning usually need much stronger data augmentations than supervised learning to ensure good representations? These questions involve both the optimization and statistical aspects of deep learning, but can hardly be answered by analyzing supervised learning, where the target functions are the highest pursuit. Indeed, in self-supervised learning, it is inevitable to relate to the optimization/generalization of neural networks to how they can encode the latent structures in the data, which we refer to as the \textit{feature learning process}. In this work, we formally study how contrastive learning learns the feature representations for neural networks by analyzing its feature learning process. We consider the case where our data are comprised of two types of features: the more semantically aligned sparse features which we want to learn from, and the other dense features we want to avoid. Theoretically, we prove that contrastive learning using \textbf{ReLU} networks provably learns the desired sparse features if proper augmentations are adopted. We present an underlying principle called \textbf{feature decoupling} to explain the effects of augmentations, where we theoretically characterize how augmentations can reduce the correlations of dense features between positive samples while keeping the correlations of sparse features intact, thereby forcing the neural networks to learn from the self-supervision of sparse features. Empirically, we verified that the feature decoupling principle matches the underlying mechanism of contrastive learning in practice.
• Abstract（参考訳）: ラベルのないデータから、コントラスト学習によってトレーニングされたニューラルネットワークはどうやって特徴を抽出できるのか? なぜコントラスト学習は通常、優れた表現を確保するために教師付き学習よりも強力なデータ拡張を必要とするのか? これらの質問は、深層学習の最適化と統計的側面の両方を含むが、対象関数が最も追求される教師付き学習を分析することで、答えが得られない。 実際、自己教師付き学習では、ニューラルネットワークの最適化/一般化と、データの潜在構造をどのようにエンコードするかとの関連は避けられない。 本研究では,コントラスト学習がニューラルネットワークの特徴表現をどのように学習するかを,その特徴学習過程を分析して正式に研究する。 私たちは、データが2つのタイプの機能から構成されている場合を考えています: 学習したいより意味的に整合したスパース機能と、避けたい他の密集した機能です。 理論的には, 適切な拡張が適用されれば, 所望のスパース特徴を有意に学習できることが証明される。 そこで我々は, スパース特徴の相関性を保ちつつ, 正試料間の密な特徴の相関をいかに低減できるかを理論的に評価し, スパース特徴の自己超越からニューラルネットワークを学習させる, 拡張の効果を説明するための基本原理である「textbf{feature decoupling」を提案する。 実証的に,特徴分離原理は,実践における対照的な学習のメカニズムと一致していることを確認した。

関連論文リスト

• Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
  学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。 学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。 このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
  論文  参考訳（メタデータ） (2024-09-05T17:58:28Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
  ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。 実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。 勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
  論文  参考訳（メタデータ） (2022-06-03T17:49:38Z)
• Feature Forgetting in Continual Representation Learning [48.89340526235304]
  表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
  論文  参考訳（メタデータ） (2022-05-26T13:38:56Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。