論文の概要: Online Spatio-Temporal Learning with Target Projection

• arxiv url: http://arxiv.org/abs/2304.05124v1
• Date: Tue, 11 Apr 2023 10:34:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 15:21:17.752672
• Title: Online Spatio-Temporal Learning with Target Projection
• Title（参考訳）: ターゲット投影によるオンライン時空間学習
• Authors: Thomas Ortner and Lorenzo Pes and Joris Gentinetta and Charlotte Frenkel and Angeliki Pantazi
• Abstract要約: ターゲットプロジェクションを用いたオンライン時間学習(OSTTP)という新しい学習アルゴリズムを提案する。 OSTTPは、新しい入ってくるデータを同時に処理し、学習する能力を持つネットワークを備え、重み対称性と更新ロックの問題を軽減する。 本稿では,OSTTPの知的神経形ハードウェアへの実装を実証し,その汎用性と資源制約型AIデバイスへの適用性を実証する。
• 参考スコア（独自算出の注目度）: 0.6299766708197883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks trained with the backpropagation through time (BPTT) algorithm have led to astounding successes in various temporal tasks. However, BPTT introduces severe limitations, such as the requirement to propagate information backwards through time, the weight symmetry requirement, as well as update-locking in space and time. These problems become roadblocks for AI systems where online training capabilities are vital. Recently, researchers have developed biologically-inspired training algorithms, addressing a subset of those problems. In this work, we propose a novel learning algorithm called online spatio-temporal learning with target projection (OSTTP) that resolves all aforementioned issues of BPTT. In particular, OSTTP equips a network with the capability to simultaneously process and learn from new incoming data, alleviating the weight symmetry and update-locking problems. We evaluate OSTTP on two temporal tasks, showcasing competitive performance compared to BPTT. Moreover, we present a proof-of-concept implementation of OSTTP on a memristive neuromorphic hardware system, demonstrating its versatility and applicability to resource-constrained AI devices.
• Abstract（参考訳）: BPTTアルゴリズムでトレーニングされた反復ニューラルネットワークは、様々な時間的タスクで驚くべき成功を収めている。 しかしBPTTは、時間を通して情報を後方に伝播する要求、重量対称性の要求、空間と時間の更新ロックといった厳しい制限を導入している。 これらの問題は、オンライントレーニング機能が不可欠であるAIシステムの障害となる。 最近、研究者は生物学的にインスパイアされたトレーニングアルゴリズムを開発し、それらの問題の一部に対処している。 本研究では,上記のBPTTの課題を全て解決するターゲットプロジェクション(OSTTP)を用いたオンライン時空間学習という新しい学習アルゴリズムを提案する。 特にOSTTPは、新しい入ってくるデータを同時に処理し、学習する能力を持つネットワークを備え、重み対称性と更新ロックの問題を軽減する。 BPTTと比較して,OSTTPを2つの時間的タスクで評価した。 さらに,OSTTPの知識制約型ハードウェアシステムにおける概念実証を行い,その汎用性と資源制約型AIデバイスへの適用性を実証した。

関連論文リスト

• Time-Distributed Feature Learning for Internet of Things Network Traffic Classification [17.941349488134325]
  深層学習に基づくネットワークトラフィック分類(NTC)のための,効率的で包括的特徴抽出手法を提案する。 我々はNTCの精度を最大化するために時間分散特徴学習を用いる。 提案手法は, 擬似時間的特徴と時空間的特徴がNTCの頑健性と性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-08T13:46:56Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)
• DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales [0.0]
  ニューラルネットワークは、繰り返しニューラルネットワーク(RNN)の爆発/消去勾配問題に悩まされるか、またはパラメータを調整して関連する時間スケール(LSTMなど)を学ぶ必要があります。 本稿では,生物にインスパイアされたスケール不変時史(SITH)モジュールを層間密接な接続で連続的に構成するネットワークであるDeepSITHを紹介する。 SITHモジュールは幾何学的に配置された時間定数で入力に応答し、DeepSITHネットワークは一連の時間スケールに沿って問題を学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-09T23:58:14Z)
• Online Spatio-Temporal Learning in Deep Neural Networks [1.6624384368855523]
  オンライン学習は、最近研究コミュニティの注目を集め、BPTTを近似するアプローチや、SNNに適用する生物学的に有望なスキームに焦点をあてている。 ここでは、空間的および時間的勾配成分の明確な分離に基づく別の視点を示す。 私たちは、オンラインスパイキング時間学習(OSTL)という、深層SNNのための新しいオンライン学習アルゴリズムの第一原理から派生した。 浅いネットワークの場合、OSTLはBPTTと同等の勾配であり、BPTT同値勾配を持つSNNのオンライントレーニングを初めて行うことができる。さらに、提案された定式化はSNNアーキテクチャのクラスを公開する。
  論文  参考訳（メタデータ） (2020-07-24T18:10:18Z)
• Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
  時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。 ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。 イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
  論文  参考訳（メタデータ） (2020-06-16T05:51:25Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。