論文の概要: Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks
- arxiv url: http://arxiv.org/abs/2109.15089v2
- Date: Fri, 1 Oct 2021 21:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 09:14:22.166879
- Title: Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks
- Title(参考訳): 深層ネットワークにおける自己指導型学習のための生物プラウジブルトレーニング機構
- Authors: Mufeng Tang, Yibo Yang, Yali Amit
- Abstract要約: 我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
- 参考スコア(独自算出の注目度): 14.685237010856953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop biologically plausible training mechanisms for self-supervised
learning (SSL) in deep networks. SSL, with a contrastive loss, is more natural
as it does not require labelled data and its robustness to perturbations yields
more adaptable embeddings. Moreover the perturbation of data required to create
positive pairs for SSL is easily produced in a natural environment by observing
objects in motion and with variable lighting over time. We propose a
contrastive hinge based loss whose error involves simple local computations as
opposed to the standard contrastive losses employed in the literature, which do
not lend themselves easily to implementation in a network architecture due to
complex computations involving ratios and inner products. Furthermore we show
that learning can be performed with one of two more plausible alternatives to
backpropagation. The first is difference target propagation (DTP), which trains
network parameters using target-based local losses and employs a Hebbian
learning rule, thus overcoming the biologically implausible symmetric weight
problem in backpropagation. The second is simply layer-wise learning, where
each layer is directly connected to a layer computing the loss error. The
layers are either updated sequentially in a greedy fashion (GLL) or in random
order (RLL), and each training stage involves a single hidden layer network.
The one step backpropagation needed for each such network can either be altered
with fixed random feedback weights as proposed in Lillicrap et al. (2016), or
using updated random feedback as in Amit (2019). Both methods represent
alternatives to the symmetric weight issue of backpropagation. By training
convolutional neural networks (CNNs) with SSL and DTP, GLL or RLL, we find that
our proposed framework achieves comparable performance to its implausible
counterparts in both linear evaluation and transfer learning tasks.
- Abstract(参考訳): 我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
SSLは、ラベル付きデータを必要とせず、摂動に対する堅牢性がより適応可能な埋め込みをもたらすため、対照的な損失がある。
さらに、動作中の物体を観察し、時間とともに変動した照明で、SSLの正のペアを作成するために必要なデータの摂動を自然環境において容易に生成する。
本稿では,本論文で採用されている標準的なコントラスト的損失とは対照的に,単純な局所計算を伴う逆ヒンジに基づく損失を,比と内積を含む複雑な計算によるネットワークアーキテクチャの実装に容易には適用できないことを示す。
さらに,バックプロパゲーションの2つの選択肢の1つを用いて学習を行うことができることを示す。
1つ目は差動目標伝播(DTP)であり、これは標的に基づく局所的損失を用いてネットワークパラメータを訓練し、ヘビアン学習規則を用いて、逆伝播において生物学的に不確実な対称重み問題に打ち勝つ。
2つ目は単にレイヤ学習であり、各レイヤは損失エラーを計算するレイヤに直接接続される。
それぞれのトレーニングステージは、単一の隠れレイヤネットワークを含む、グリーディなスタイル(gll)またはランダム順序(rll)で順次更新される。
それぞれのネットワークに必要な1ステップのバックプロパゲーションは、lillicrap et al. (2016) で提案されたように、固定されたランダムなフィードバック重みで変更するか、あるいは amit (2019) で更新されたランダムフィードバックを使用して変更することができる。
どちらの方法も、バックプロパゲーションの対称重み問題に代わるものである。
SSL, DTP, GLL, RLLによる畳み込みニューラルネットワーク(CNN)のトレーニングにより, 提案するフレームワークは, 線形評価と伝達学習の両タスクにおいて, 予測できないような性能を達成できることがわかった。
関連論文リスト
- Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳(メタデータ) (2022-11-10T08:32:13Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳(メタデータ) (2022-09-30T15:15:05Z) - Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-07-21T08:16:31Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳(メタデータ) (2022-06-27T15:46:05Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Information Bottleneck-Based Hebbian Learning Rule Naturally Ties
Working Memory and Synaptic Updates [0.0]
私たちは、バックプロパゲーションとその関連する問題を完全に回避する、別のアプローチを取っています。
深層学習における最近の研究は、情報ボトルネック(IB)を介してネットワークの各層を個別に訓練することを提案した。
この変調信号は、貯水池のような動作記憶を持つ補助回路で学習可能であることを示す。
論文 参考訳(メタデータ) (2021-11-24T17:38:32Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。