論文の概要: On the Memorization Properties of Contrastive Learning
- arxiv url: http://arxiv.org/abs/2107.10143v1
- Date: Wed, 21 Jul 2021 15:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-22 14:22:26.842528
- Title: On the Memorization Properties of Contrastive Learning
- Title(参考訳): コントラスト学習の記憶特性について
- Authors: Ildus Sadrtdinov, Nadezhda Chirkova, Ekaterina Lobacheva
- Abstract要約: コントラスト型自己教師型学習手法であるSimCLRの記憶特性について検討する。
トレーニングオブジェクトと拡張の両方が、SimCLRがそれらをどのように学習するかという意味で、異なる複雑さを持つことが分かりました。
- 参考スコア(独自算出の注目度): 7.025709586759654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memorization studies of deep neural networks (DNNs) help to understand what
patterns and how do DNNs learn, and motivate improvements to DNN training
approaches. In this work, we investigate the memorization properties of SimCLR,
a widely used contrastive self-supervised learning approach, and compare them
to the memorization of supervised learning and random labels training. We find
that both training objects and augmentations may have different complexity in
the sense of how SimCLR learns them. Moreover, we show that SimCLR is similar
to random labels training in terms of the distribution of training objects
complexity.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の記憶研究は、DNNがどのようなパターンとどのように学習するかを理解し、DNNトレーニングアプローチの改善を動機付ける。
本研究では,コントラスト型自己教師型学習手法であるSimCLRの記憶特性について検討し,教師付き学習とランダムラベル学習の記憶特性と比較する。
トレーニングオブジェクトと拡張の両方が、SimCLRがそれらをどのように学習するかという意味で、異なる複雑さを持つことが分かりました。
さらに,SimCLRはトレーニング対象の複雑さの分布の観点から,ランダムラベルのトレーニングに似ていることを示す。
関連論文リスト
- Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳(メタデータ) (2024-03-04T23:12:42Z) - In-Context Learning Dynamics with Random Binary Sequences [17.858267247360267]
テキスト内学習のダイナミクスを解析できるフレームワークを提案する。
人間の知覚の認知科学に触発されて、ランダムなバイナリシーケンスをコンテキストとして使用する。
最新のGPT-3.5+モデルでは、一見ランダムな数を生成し、基本形式言語を学習する創発的な能力を見出す。
論文 参考訳(メタデータ) (2023-10-26T17:54:52Z) - On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural
Networks [2.294014185517203]
隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。
我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。
これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
論文 参考訳(メタデータ) (2023-06-12T14:01:30Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Exploring Memorization in Adversarial Training [58.38336773082818]
本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。
本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-03T05:39:57Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Collaborative Method for Incremental Learning on Classification and
Generation [32.07222897378187]
本稿では,ニューラルネットワークを用いたインクリメンタルなクラス学習のための新しいアルゴリズム,Incrmental Class Learning with Attribute Sharing (ICLAS)を導入する。
そのコンポーネントの1つであるincGANは、トレーニングデータよりも多彩な画像を生成することができる。
データ不足の困難な環境下で、ICLASは段階的に分類と生成ネットワークを訓練する。
論文 参考訳(メタデータ) (2020-10-29T06:34:53Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳(メタデータ) (2020-10-23T11:18:20Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-06-29T08:35:49Z) - Provable Representation Learning for Imitation Learning via Bi-level
Optimization [60.059520774789654]
現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。
我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。
このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
論文 参考訳(メタデータ) (2020-02-24T21:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。