論文の概要: Consequences of Slow Neural Dynamics for Incremental Learning
- arxiv url: http://arxiv.org/abs/2012.06694v2
- Date: Mon, 22 May 2023 20:07:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 02:08:25.736820
- Title: Consequences of Slow Neural Dynamics for Incremental Learning
- Title（参考訳）: インクリメンタル学習における低速神経動力学の効果
- Authors: Shima Rahimi Moghaddam, Fanjun Bu, Christopher J. Honey
- Abstract要約: 自然主義的データを用いたトレーニングでは、入力に時間的自己相関が存在することも示している。
時間的にスムーズなデータでトレーニングすると、ニューラルネットワークがフィードフォワードネットワークよりも効率的に分類できることが分かりました。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the human brain, internal states are often correlated over time (due to
local recurrence and other intrinsic circuit properties), punctuated by abrupt
transitions. At first glance, temporal smoothness of internal states presents a
problem for learning input-output mappings (e.g. category labels for images),
because the internal representation of the input will contain a mixture of
current input and prior inputs. However, when training with naturalistic data
(e.g. movies) there is also temporal autocorrelation in the input. How does the
temporal "smoothness" of internal states affect the efficiency of learning when
the training data are also temporally smooth? How does it affect the kinds of
representations that are learned? We found that, when trained with temporally
smooth data, "slow" neural networks (equipped with linear recurrence and gating
mechanisms) learned to categorize more efficiently than feedforward networks.
Furthermore, networks with linear recurrence and multi-timescale gating could
learn internal representations that "un-mixed" quickly-varying and
slowly-varying data sources. Together, these findings demonstrate how a
fundamental property of cortical dynamics (their temporal autocorrelation) can
serve as an inductive bias, leading to more efficient category learning and to
the representational separation of fast and slow sources in the environment.
- Abstract（参考訳）: ヒトの脳では、内部状態はしばしば時間とともに相関し(局所的な再発やその他の固有の回路特性により)、急激な遷移によって刺激される。
一見すると、入力の内部表現は現在の入力と事前入力の混合を含むため、入力出力マッピング(例えば画像のカテゴリラベル)を学ぶ際に、内部状態の時間的滑らかさが問題となる。
しかし、自然主義的なデータ(例えば映画)を用いたトレーニングでは、入力に時間的自己相関も生じる。
トレーニングデータも時間的にスムーズな場合、内部状態の時間的「滑らかさ」は学習効率にどのように影響しますか?
学習される表現の種類にどのように影響しますか?
時間的に滑らかなデータでトレーニングすると、(線形再帰とゲーティング機構を備えた)ニューラルネットワークがフィードフォワードネットワークよりも効率的に分類できることが分かりました。
さらに、線形再帰とマルチタイムのゲーティングを持つネットワークは、"無混合"で、急速に変化するデータソースの内部表現を学習することができた。
これらと合わせて、皮質力学の基本的な性質(時間的自己相関)が帰納的バイアスとして機能し、より効率的なカテゴリ学習と、環境中の高速で遅いソースの表現的分離につながることを示す。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Isometric Representations in Neural Networks Improve Robustness [0.0]
我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。
我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
論文 参考訳（メタデータ） (2022-11-02T16:18:18Z) - Local learning through propagation delays in spiking neural networks [0.0]
本研究では,スパイク伝播時間に活動依存性の可塑性が生じるスパイクニューラルネットワークの局所学習規則を提案する。
本手法を手書き桁のデータベースから入力した3層フィードフォワードネットワークで実演する。
論文 参考訳（メタデータ） (2022-10-27T13:48:40Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳（メタデータ） (2022-06-24T14:26:33Z) - Thalamus: a brain-inspired algorithm for biologically-plausible
continual learning and disentangled representations [0.0]
動物は絶えず変化する環境の中で成長し、時間構造を利用して因果表現を学ぶ。
本稿では,時間的文脈の内部表現を生成するために,推論時に最適化を利用する単純なアルゴリズムを提案する。
従来の重み付け更新を用いて一連のタスクをトレーニングしたネットワークが,タスクを動的に推論できることを示す。
次に、ウェイト更新と潜伏更新を交互に切り替えて、未ラベルのタスクストリーム内の非絡み合った表現を発見することができるタスク非依存のアルゴリズムであるTalamusに到達します。
論文 参考訳（メタデータ） (2022-05-24T01:29:21Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳（メタデータ） (2021-06-08T08:58:00Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-08T03:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。