論文の概要: Information Bottleneck-Based Hebbian Learning Rule Naturally Ties
Working Memory and Synaptic Updates
- arxiv url: http://arxiv.org/abs/2111.13187v1
- Date: Wed, 24 Nov 2021 17:38:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 16:14:46.808892
- Title: Information Bottleneck-Based Hebbian Learning Rule Naturally Ties
Working Memory and Synaptic Updates
- Title(参考訳): 情報ボトルネックに基づくヘビー学習規則は作業記憶とシナプス更新を自然に関連づける
- Authors: Kyle Daruwalla and Mikko Lipasti
- Abstract要約: 私たちは、バックプロパゲーションとその関連する問題を完全に回避する、別のアプローチを取っています。
深層学習における最近の研究は、情報ボトルネック(IB)を介してネットワークの各層を個別に訓練することを提案した。
この変調信号は、貯水池のような動作記憶を持つ補助回路で学習可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks have successfully tackled a large variety of
problems by training extremely deep networks via back-propagation. A direct
application of back-propagation to spiking neural networks contains
biologically implausible components, like the weight transport problem or
separate inference and learning phases. Various methods address different
components individually, but a complete solution remains intangible. Here, we
take an alternate approach that avoids back-propagation and its associated
issues entirely. Recent work in deep learning proposed independently training
each layer of a network via the information bottleneck (IB). Subsequent studies
noted that this layer-wise approach circumvents error propagation across
layers, leading to a biologically plausible paradigm. Unfortunately, the IB is
computed using a batch of samples. The prior work addresses this with a weight
update that only uses two samples (the current and previous sample). Our work
takes a different approach by decomposing the weight update into a local and
global component. The local component is Hebbian and only depends on the
current sample. The global component computes a layer-wise modulatory signal
that depends on a batch of samples. We show that this modulatory signal can be
learned by an auxiliary circuit with working memory (WM) like a reservoir.
Thus, we can use batch sizes greater than two, and the batch size determines
the required capacity of the WM. To the best of our knowledge, our rule is the
first biologically plausible mechanism to directly couple synaptic updates with
a WM of the task. We evaluate our rule on synthetic datasets and image
classification datasets like MNIST, and we explore the effect of the WM
capacity on learning performance. We hope our work is a first-step towards
understanding the mechanistic role of memory in learning.
- Abstract(参考訳): ニューラルネットワークは、バックプロパゲーションを通じて非常に深いネットワークをトレーニングすることで、さまざまな問題にうまく取り組みました。
スパイクニューラルネットワークへのバックプロパゲーションの直接的な応用には、重み付け輸送問題や別々の推論と学習フェーズといった生物学的に証明できない要素が含まれる。
様々な方法が個別に異なるコンポーネントを扱うが、完全なソリューションは無形のままである。
ここでは、バックプロパゲーションとその関連する問題を完全に回避する別のアプローチをとる。
近年のディープラーニングの研究は、情報ボトルネック(IB)を介してネットワークの各レイヤを独立的にトレーニングすることを提案した。
その後の研究は、このレイヤーワイドアプローチが層間のエラー伝播を回避し、生物学的に妥当なパラダイムをもたらすことを指摘した。
残念ながら、IBはサンプルのバッチを使用して計算される。
以前の作業では、2つのサンプル(現在のサンプルと以前のサンプル)のみを使用する重み更新でこの問題に対処している。
我々の研究は、重み更新をローカルおよびグローバルなコンポーネントに分解することで、異なるアプローチを取ります。
ローカルコンポーネントはHebbianで、現在のサンプルのみに依存します。
グローバルコンポーネントは、サンプルのバッチに依存する層毎の変調信号を計算します。
この変調信号は、作業メモリ(wm)を有する補助回路によって、リザーバのように学習できることを示す。
したがって、2つ以上のバッチサイズを使うことができるので、バッチサイズはWMに必要なキャパシティを決定する。
私たちの知る限りでは、私たちのルールは、シナプス更新とタスクのwmを直接結合する、生物学的に可能な最初のメカニズムです。
我々は,合成データセットとmnistのような画像分類データセットに関するルールを評価し,wm能力が学習性能に及ぼす影響について検討した。
私たちの仕事は、学習における記憶の機械的役割を理解するための第一歩になることを願っています。
関連論文リスト
- CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳(メタデータ) (2024-06-07T19:10:35Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳(メタデータ) (2022-06-27T15:46:05Z) - BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。
BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。
我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文 参考訳(メタデータ) (2022-03-03T05:31:33Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳(メタデータ) (2021-09-30T12:56:57Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳(メタデータ) (2021-07-07T11:43:59Z) - Learning Intra-Batch Connections for Deep Metric Learning [3.5665681694253903]
メートル法学習は、類似のサンプルが異種よりも近い低次元空間にサンプルをマッピングする関数を学習することを目的としている。
ほとんどのアプローチは、サンプルのペアまたはトリプレット間の関係のみを考慮した損失に依存する。
ミニバッチにおけるすべての関係を考慮に入れたメッセージパッシングネットワークに基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-02-15T18:50:00Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。