Fugu-MT 論文翻訳(概要): On the Memorization Properties of Contrastive Learning

論文の概要: On the Memorization Properties of Contrastive Learning

arxiv url: http://arxiv.org/abs/2107.10143v1
Date: Wed, 21 Jul 2021 15:21:58 GMT
ステータス: 処理完了
システム内更新日: 2021-07-22 14:22:26.842528
Title: On the Memorization Properties of Contrastive Learning
Title（参考訳）: コントラスト学習の記憶特性について
Authors: Ildus Sadrtdinov, Nadezhda Chirkova, Ekaterina Lobacheva
Abstract要約: コントラスト型自己教師型学習手法であるSimCLRの記憶特性について検討する。トレーニングオブジェクトと拡張の両方が、SimCLRがそれらをどのように学習するかという意味で、異なる複雑さを持つことが分かりました。
参考スコア（独自算出の注目度）: 7.025709586759654
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Memorization studies of deep neural networks (DNNs) help to understand what patterns and how do DNNs learn, and motivate improvements to DNN training approaches. In this work, we investigate the memorization properties of SimCLR, a widely used contrastive self-supervised learning approach, and compare them to the memorization of supervised learning and random labels training. We find that both training objects and augmentations may have different complexity in the sense of how SimCLR learns them. Moreover, we show that SimCLR is similar to random labels training in terms of the distribution of training objects complexity.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の記憶研究は、DNNがどのようなパターンとどのように学習するかを理解し、DNNトレーニングアプローチの改善を動機付ける。本研究では,コントラスト型自己教師型学習手法であるSimCLRの記憶特性について検討し,教師付き学習とランダムラベル学習の記憶特性と比較する。トレーニングオブジェクトと拡張の両方が、SimCLRがそれらをどのように学習するかという意味で、異なる複雑さを持つことが分かりました。さらに,SimCLRはトレーニング対象の複雑さの分布の観点から,ランダムラベルのトレーニングに似ていることを示す。

関連論文リスト

Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文参考訳（メタデータ） (2025-02-03T20:30:46Z)
Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks [10.55004012983524]
SimCLRは視覚タスクのための最も一般的なコントラスト学習手法の1つである。我々は、おもちゃの画像データモデルを学ぶために、2層畳み込みニューラルネットワーク(CNN)を訓練することを検討する。ラベル付きデータ数のある条件下では,SimCLRの事前学習と教師付き微調整を組み合わせることで,ほぼ最適なテスト損失が得られることを示す。
論文参考訳（メタデータ） (2024-09-27T12:19:41Z)
Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
論文参考訳（メタデータ） (2024-09-05T17:58:28Z)
Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文参考訳（メタデータ） (2024-06-05T08:30:11Z)
On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks [2.294014185517203]
隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
論文参考訳（メタデータ） (2023-06-12T14:01:30Z)
Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。重要なことは、情報組織が記憶の2つの形態を指していることである。
論文参考訳（メタデータ） (2022-10-17T20:15:24Z)
Exploring Memorization in Adversarial Training [58.38336773082818]
本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-03T05:39:57Z)
PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文参考訳（メタデータ） (2021-03-17T08:28:30Z)
Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文参考訳（メタデータ） (2020-10-23T11:18:20Z)
Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
論文参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。