論文の概要: Temporal and Spatial Reservoir Ensembling Techniques for Liquid State Machines

• arxiv url: http://arxiv.org/abs/2411.11414v1
• Date: Mon, 18 Nov 2024 09:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:06.297810
• Title: Temporal and Spatial Reservoir Ensembling Techniques for Liquid State Machines
• Title（参考訳）: 液体機械の時空間貯留層構築技術
• Authors: Anmol Biswas, Sharvari Ashok Medhe, Raghav Singhal, Udayan Ganguly,
• Abstract要約: LSM(Liquid State Machines)は、脳内のニューロンの組織にインスパイアされた貯水池コンピューティングの特殊な例である。 マルチ長スケール貯水池アンサンブル(MuLRE)とテンポラル励振部貯水池アンサンブル(TEPRE)を効果的に組み合わせるための2つのアプローチを提案する。 3600-neuron LSMモデルを用いて,N-MNISTの98.1%のテスト精度を実現した。 また、視覚タスクのための多長スケール貯水池アンサンブルモデルと協調して作業するために、受動的フィールドベース入力重みを貯水池に提案する。
• 参考スコア（独自算出の注目度）: 2.249916681499244
• License:
• Abstract: Reservoir computing (RC), is a class of computational methods such as Echo State Networks (ESN) and Liquid State Machines (LSM) describe a generic method to perform pattern recognition and temporal analysis with any non-linear system. This is enabled by Reservoir Computing being a shallow network model with only Input, Reservoir, and Readout layers where input and reservoir weights are not learned (only the readout layer is trained). LSM is a special case of Reservoir computing inspired by the organization of neurons in the brain and generally refers to spike-based Reservoir computing approaches. LSMs have been successfully used to showcase decent performance on some neuromorphic vision and speech datasets but a common problem associated with LSMs is that since the model is more-or-less fixed, the main way to improve the performance is by scaling up the Reservoir size, but that only gives diminishing rewards despite a tremendous increase in model size and computation. In this paper, we propose two approaches for effectively ensembling LSM models - Multi-Length Scale Reservoir Ensemble (MuLRE) and Temporal Excitation Partitioned Reservoir Ensemble (TEPRE) and benchmark them on Neuromorphic-MNIST (N-MNIST), Spiking Heidelberg Digits (SHD), and DVSGesture datasets, which are standard neuromorphic benchmarks. We achieve 98.1% test accuracy on N-MNIST with a 3600-neuron LSM model which is higher than any prior LSM-based approach and 77.8% test accuracy on the SHD dataset which is on par with a standard Recurrent Spiking Neural Network trained by Backprop Through Time (BPTT). We also propose receptive field-based input weights to the Reservoir to work alongside the Multi-Length Scale Reservoir ensemble model for vision tasks. Thus, we introduce effective means of scaling up the performance of LSM models and evaluate them against relevant neuromorphic benchmarks
• Abstract（参考訳）: Reservoir Computing (RC) は、Echo State Networks (ESN) やLiquid State Machines (LSM) のような計算手法のクラスであり、パターン認識と時間解析を非線形システムで行う一般的な方法を記述する。 これはReservoir Computingが、入力層、Reservoir層、リードアウト層のみを持つ浅いネットワークモデルであり、入力層とリザーバ重みが学習されない(リードアウト層のみをトレーニングする)ことで実現される。 LSMは、脳内のニューロンの組織にインスパイアされたReservoirコンピューティングの特殊なケースであり、一般的にスパイクベースのReservoirコンピューティングアプローチを指す。 LSMは、いくつかのニューロモルフィックな視覚や音声データセットで十分なパフォーマンスを示すのに成功しているが、LSMに関連する一般的な問題は、モデルが多かれ少なかれ固定されているため、パフォーマンスを改善する主な方法は、Reservoirのサイズをスケールアップすることであるが、モデルのサイズと計算が著しく増加するにもかかわらず、報酬が減少することである。 本稿では,マルチLength Scale Reservoir Ensemble (MuLRE) とテンポラル励磁Partitioned Reservoir Ensemble (TEPRE) の2つのアプローチを提案し,それらを標準的なニューロモルフィックベンチマークであるNeuromorphic-MNIST (N-MNIST)、Spking Heidelberg Digits (SHD)、DVSGestureデータセットでベンチマークする。 従来のLSMベースアプローチよりも高い3600-neuron LSMモデルでN-MNISTで98.1%のテスト精度を達成し, BPTT(Backprop Through Time)でトレーニングされた標準のRecurrent Spiking Neural Networkと同等のSHDデータセットで77.8%のテスト精度を実現した。 また、視覚タスクのためのマルチ長スケール貯水池アンサンブルモデルと協調して動作するように、受動的フィールドベース入力重みをReservoirに提案する。 そこで我々は,LSMモデルの性能向上に有効な手法を導入し,関連するニューロモーフィック・ベンチマークと比較した。

関連論文リスト

• Hierarchically Disentangled Recurrent Network for Factorizing System Dynamics of Multi-scale Systems [4.634606500665259]
  マルチスケールプロセスのモデリングのための知識誘導機械学習(KGML)フレームワークを提案する。 本研究では,水文学における流れ予測の文脈におけるその性能について検討する。
  論文  参考訳（メタデータ） (2024-07-29T16:25:43Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
  MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。 実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:20:34Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• Compressing LSTM Networks by Matrix Product Operators [7.395226141345625]
  Long Short Term Memory(LSTM)モデルは、多くの最先端自然言語処理(NLP)と音声強調(SE)アルゴリズムの構築ブロックである。 ここでは、量子多体物理学における量子状態の局所的相関を記述するMPO分解を紹介する。 LSTMモデルを置き換えるために,行列積演算子(MPO)に基づくニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-12-22T11:50:06Z)
• A Neural Architecture Search based Framework for Liquid State Machine Design [7.729541832738546]
  Liquid State Machine (LSM) はスパイキングニューラルネットワーク (SNN) のリカレントバージョンである。 最近の研究は、LSMモデルの精度を低複雑性で向上させる大きな可能性を示している。 脳構造の多様性と特異性を考えると、LSMモデルの設計は可能な限り最大の探索空間で検討されるべきである。
  論文  参考訳（メタデータ） (2020-04-07T10:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。