論文の概要: Sequence Learning and Consolidation on Loihi using On-chip Plasticity

• arxiv url: http://arxiv.org/abs/2205.00643v1
• Date: Mon, 2 May 2022 04:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 20:50:13.780345
• Title: Sequence Learning and Consolidation on Loihi using On-chip Plasticity
• Title（参考訳）: オンチップ塑性を利用したLoihiのシーケンス学習と統合
• Authors: Jack Lindsey, James B Aimone
• Abstract要約: 我々は,Loihiチップのオンチップ可塑性能力を用いたニューロモルフィックハードウェアの予測学習モデルを開発した。 我々のモデルは、オンライン予測学習モデルは、オンチップの可塑性を持つニューロモルフィックハードウェアにデプロイできるという概念実証の役割を果たしている。
• 参考スコア（独自算出の注目度）: 6.9597705368779925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we develop a model of predictive learning on neuromorphic hardware. Our model uses the on-chip plasticity capabilities of the Loihi chip to remember observed sequences of events and use this memory to generate predictions of future events in real time. Given the locality constraints of on-chip plasticity rules, generating predictions without interfering with the ongoing learning process is nontrivial. We address this challenge with a memory consolidation approach inspired by hippocampal replay. Sequence memory is stored in an initial memory module using spike-timing dependent plasticity. Later, during an offline period, memories are consolidated into a distinct prediction module. This second module is then able to represent predicted future events without interfering with the activity, and plasticity, in the first module, enabling online comparison between predictions and ground-truth observations. Our model serves as a proof-of-concept that online predictive learning models can be deployed on neuromorphic hardware with on-chip plasticity.
• Abstract（参考訳）: 本研究では,ニューロモルフィックハードウェアを用いた予測学習モデルを開発した。 我々のモデルは,Loihiチップのチップ上の可塑性特性を用いて観測された事象のシーケンスを記憶し,このメモリを用いて将来の事象をリアルタイムで予測する。 オンチップの可塑性規則の局所性制約を考えると、進行中の学習プロセスに干渉することなく予測を生成することは非自明である。 この課題に対して,海馬のリプレイにインスパイアされた記憶統合アプローチで対処する。 シーケンスメモリはスパイクタイピング依存塑性を用いて初期記憶モジュールに格納される。 その後、オフライン期間中に記憶は別個の予測モジュールに統合される。 この第2のモジュールは、第1のモジュールのアクティビティや塑性に干渉することなく、予測される将来の事象を表現でき、予測と地平線観測のオンライン比較を可能にする。 私たちのモデルは、オンライン予測学習モデルがオンチッププラスティックなニューロモルフィックハードウェアにデプロイできるという概念実証に役立ちます。

関連論文リスト

• Predictive Attractor Models [9.947717243638289]
  生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:25:01Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• Sequential Memory with Temporal Predictive Coding [6.228559238589584]
  時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。 我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
  論文  参考訳（メタデータ） (2023-05-19T20:03:31Z)
• Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs [13.250455334302288]
  シナプスの可塑性は記憶の形成と学習において重要な役割を担っているという証拠がある。 リカレントニューラルネットワークに塑性規則を付与し、進行中の経験に応じてパラメータを適応できるようにします。 本モデルでは, 逐次的, 連想的メモリタスクにおける有望な結果を示し, 記憶を堅牢に形成, 維持する能力を示す。
  論文  参考訳（メタデータ） (2023-02-07T03:42:42Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• GAN Memory with No Forgetting [71.59992224279651]
  生成プロセスを介してデータセットのストリームを記憶できる生涯学習用GANメモリを提案する。 我々のGANメモリは、GANモデルの"スタイル"を調整して、知覚的に異なるターゲット生成を生成できることを認識します。
  論文  参考訳（メタデータ） (2020-06-13T03:19:54Z)
• MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction [26.151761714896118]
  メモリ拡張ニューラルネットワークを用いたマルチモーダル軌道予測の問題に対処する。 提案手法は、繰り返しニューラルネットワークを用いて過去と将来の軌道埋め込みを学習し、関連性のある外部メモリを活用して、そのような埋め込みを保存・取得する。 次に、観測過去の条件付きメモリ内未来の符号化を復号して軌道予測を行う。
  論文  参考訳（メタデータ） (2020-06-05T09:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。