論文の概要: Learning Representations from Temporally Smooth Data

• arxiv url: http://arxiv.org/abs/2012.06694v1
• Date: Sat, 12 Dec 2020 01:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 05:24:32.239733
• Title: Learning Representations from Temporally Smooth Data
• Title（参考訳）: 時空間データからの学習表現
• Authors: Shima Rahimi Moghaddam, Fanjun Bu, Christopher J. Honey
• Abstract要約: 学習効率に及ぼす時間的円滑なトレーニングデータの影響について検討する。 脳にインスパイアされたメカニズム、アクティベーションユニットのリークメモリ、およびメモリゲーティングにより、スムーズなデータから有用な表現を素早く抽出できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Events in the real world are correlated across nearby points in time, and we must learn from this temporally smooth data. However, when neural networks are trained to categorize or reconstruct single items, the common practice is to randomize the order of training items. What are the effects of temporally smooth training data on the efficiency of learning? We first tested the effects of smoothness in training data on incremental learning in feedforward nets and found that smoother data slowed learning. Moreover, sampling so as to minimize temporal smoothness produced more efficient learning than sampling randomly. If smoothness generally impairs incremental learning, then how can networks be modified to benefit from smoothness in the training data? We hypothesized that two simple brain-inspired mechanisms, leaky memory in activation units and memory-gating, could enable networks to rapidly extract useful representations from smooth data. Across all levels of data smoothness, these brain-inspired architectures achieved more efficient category learning than feedforward networks. This advantage persisted, even when leaky memory networks with gating were trained on smooth data and tested on randomly-ordered data. Finally, we investigated how these brain-inspired mechanisms altered the internal representations learned by the networks. We found that networks with multi-scale leaky memory and memory-gating could learn internal representations that un-mixed data sources which vary on fast and slow timescales across training samples. Altogether, we identified simple mechanisms enabling neural networks to learn more quickly from temporally smooth data, and to generate internal representations that separate timescales in the training signal.
• Abstract（参考訳）: 実世界の出来事は、時間とともに近隣の点間で相関しており、この時間的にスムーズなデータから学ぶ必要がある。 しかし,ニューラルネットワークが単一項目の分類や再構成を行う場合,トレーニング項目の順序をランダムにすることが一般的である。 時間的平滑なトレーニングデータが学習効率に及ぼす影響について トレーニングデータのスムーズさがフィードフォワードネットのインクリメンタル学習に及ぼす影響を最初に検証したところ,スムーズなデータが学習を遅くすることがわかった。 さらに、時間的平滑さを最小化するためのサンプリングは、ランダムにサンプリングするよりも効率的な学習を生み出した。 滑らかさが一般的に漸進的な学習を損なう場合、トレーニングデータの滑らかさの恩恵を受けるために、ネットワークをどのように修正すればよいのか? 脳にインスパイアされた2つの単純なメカニズム、アクティベーションユニットのリークメモリとメモリゲーティングにより、スムーズなデータから有用な表現を素早く抽出できると仮定した。 あらゆるレベルのデータのスムーズさによって、これらの脳にインスパイアされたアーキテクチャは、フィードフォワードネットワークよりも効率的なカテゴリ学習を実現した。 この利点は、ゲーティング付きリークメモリネットワークがスムーズなデータでトレーニングされ、ランダムに順序付けされたデータでテストされたとしても継続した。 最後に,脳にインスパイアされたメカニズムがネットワークによって学習された内部表現をどのように変化させたかを検討した。 マルチスケールのリークメモリとメモリゲーティングを持つネットワークは、トレーニングサンプル間で高速で遅い時間スケールで異なる未混合データソースの内部表現を学習できることがわかった。 また、時間的スムーズなデータからニューラルネットワークをより早く学習し、トレーニング信号の時間スケールを分離する内部表現を生成するための単純なメカニズムを特定した。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Local learning through propagation delays in spiking neural networks [0.0]
  本研究では,スパイク伝播時間に活動依存性の可塑性が生じるスパイクニューラルネットワークの局所学習規則を提案する。 本手法を手書き桁のデータベースから入力した3層フィードフォワードネットワークで実演する。
  論文  参考訳（メタデータ） (2022-10-27T13:48:40Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations [0.0]
  動物は絶えず変化する環境の中で成長し、時間構造を利用して因果表現を学ぶ。 本稿では,時間的文脈の内部表現を生成するために,推論時に最適化を利用する単純なアルゴリズムを提案する。 従来の重み付け更新を用いて一連のタスクをトレーニングしたネットワークが,タスクを動的に推論できることを示す。 次に、ウェイト更新と潜伏更新を交互に切り替えて、未ラベルのタスクストリーム内の非絡み合った表現を発見することができるタスク非依存のアルゴリズムであるTalamusに到達します。
  論文  参考訳（メタデータ） (2022-05-24T01:29:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。