論文の概要: Memristive-Friendly Hadamard Reservoir Computing: Structured, Multiplier-Free Recurrences at Scale
- arxiv url: http://arxiv.org/abs/2608.28295v1
- Date: Fri, 28 Aug 2026 12:58:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.335127
- Title: Memristive-Friendly Hadamard Reservoir Computing: Structured, Multiplier-Free Recurrences at Scale
- Title（参考訳）: メムリシブフレンドリーなアダマール貯水池計算:大規模で構造的でマルチプライヤフリーな貯留層
- Abstract要約: 貯留層コンピューティング(Reservoir Computing, RC)は、ニューラルネットワークを、固定された、訓練されていない、反復的なレイヤを中心に設計し、ニューロモルフィックハードウェアの自然な候補である。
我々は、密度行列を、符号対角線、置換、ウォルシュ・ハダマール変換から構築された構造化直交作用素に置き換える。
3つのハードウェアプラットフォームでは、高密度の製品よりも最大50ドル以上、メモリは104ドル以下になる。
- 参考スコア（独自算出の注目度）: 10.72107520133713
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reservoir Computing (RC) designs Recurrent Neural Networks around a fixed, i.e., untrained, recurrent layer, and is a natural candidate for neuromorphic hardware. Memristive-friendly reservoirs derive the neuron dynamics from memristive-device kinetics, but still rely on dense recurrent matrices, which are expensive to realize physically. In this paper, we replace the dense matrix with a structured orthogonal operator, built from sign diagonals, a permutation, and a fast Walsh-Hadamard transform. The operator is multiplier-free, requires $O(N)$ parameters and $O(N\log N)$ operations per step, and is never materialized as a matrix. We instantiate it in a standard and in a memristive-friendly Echo State Network, with one binary input connection per unit. Our mathematical analysis shows that exact orthogonality yields an echo state condition that is tight in the recurrent scaling, and a noise response that is predictable at design time. Moreover, the operator mixes the whole state in a single application. Experiments on twenty classification and seven regression benchmarks, at reservoir sizes up to $N = 8192$, show that the structured models match dense orthogonal reservoirs, and achieve better mean performance than the cycle reservoir by a margin that widens with size. Furthermore, we time the recurrent step on three hardware platforms, where it is up to $50\times$ faster than a dense product and $10^4\times$ smaller in memory. Finally, we ablate the operator and measure the response to noise, quantization, device mismatch and discrete faults.
- Abstract（参考訳）: Reservoir Computing (RC) は、リカレントニューラルネットワークを、固定された、すなわちトレーニングされていない、再カレント層を中心に設計し、ニューロモルフィックハードウェアの自然な候補である。
メムリシブフレンドリーな貯水池は、メムリシブデバイス運動学からニューロンのダイナミクスを導き出すが、それでも高密度のリカレント行列に依存しており、物理的に実現するには高価である。
本稿では,高密度行列を符号対角線,置換,ウォルシュ・アダマール変換から構築した直交作用素に置き換える。
演算子は乗算自由であり、パラメータ$O(N)$と$O(N\log N)$演算を必要とするが、行列として実現されることはない。
標準のEcho State Networkでは1ユニットあたり1バイナリの入力接続でインスタンス化します。
我々の数学的解析は、正確な直交性は、繰り返しスケーリングにおいて厳密なエコー状態条件と、設計時に予測可能なノイズ応答をもたらすことを示している。
さらに、オペレータは、状態全体を単一のアプリケーションに混ぜる。
20の分類と7つの回帰ベンチマークの実験は、N = 8192$までの貯水池サイズで、構造されたモデルが密度の高い直交貯水池と一致し、サイズを拡大するマージンによってサイクル貯水池よりも優れた平均性能が得られることを示した。
さらに,3つのハードウェアプラットフォーム上での反復的なステップでは,高密度な製品よりも50\times$が高速で,メモリが10^4\times$が小さくなりました。
最後に、演算子をアブレーションし、ノイズ、量子化、デバイスミスマッチ、離散障害に対する応答を測定する。
関連論文リスト
- The Von-Neumann State-Space Transformer for neural decoding [0.0]
皮質計算は驚くほど低次元である。
フィードフォワードブロックが低ランクの命令バンクであるメモリ拡張トランスを導入する。
VN-SSTは現代のTransformerよりもはるかにデータ効率が高い。
論文 参考訳（メタデータ） (2026-08-25T19:28:33Z) - Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels [0.0]
本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。
DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。
ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
論文 参考訳（メタデータ） (2026-06-05T14:44:49Z) - The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。
このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
論文 参考訳（メタデータ） (2026-04-23T02:12:58Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models [68.31088463716269]
状態空間モデル(SSM)における遷移行列の構造的スパースパラメトリゼーションを提案する。
我々の方法PD-SSMは、遷移行列をカラム1ホット行列(P$)と複素数値対角行列(D$)の積としてパラメータ化する。
このモデルは、様々なFSA状態追跡タスクにおいて、現代のSSMの多種多様なバリエーションを著しく上回っている。
論文 参考訳（メタデータ） (2025-09-26T12:46:30Z) - LREI: A fast numerical solver for quantum Landau-Lifshitz equations [0.0]
我々はLandau-Lifshitz (q-LL) 方程式と量子Landau-Lifshitz-Gilbert (q-LLG) 方程式を解くためのメモリ効率と時間効率のスキーム LREI を開発した。
論文 参考訳（メタデータ） (2025-08-28T20:33:37Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳（メタデータ） (2025-05-27T20:02:59Z) - Transformer Neural Processes - Kernel Regression [2.309018557701645]
我々は、スケーラブルニューラルネットワーク(NP)であるTransformer Neural Process - Kernel Regression (TNP-KR)を紹介する。
TNP-KRは、単純でパラメータで効率的なトランスフォーマーブロックであるKernel Regression Block (KR-Block)と、Scan attention (SA)、メモリ効率のよいスキャンベースバイアス、Deep kernel attention (DKA)の2つの新しい注意機構を備えている。
これらの拡張により、TNP-KR変異体は100Kで推論を行うことができる。
論文 参考訳（メタデータ） (2024-11-19T13:40:49Z) - TCNCA: Temporal Convolution Network with Chunked Attention for Scalable
Sequence Processing [52.64837396100988]
MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。
線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。
我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
論文 参考訳（メタデータ） (2023-12-09T16:12:25Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - Constant-Depth and Subcubic-Size Threshold Circuits for Matrix
Multiplication [1.9518237361775532]
大規模ニューラルネットワークハードウェアの最近の進歩は、その実践的実装を短期的可能性にしている。
しきい値ゲート論理を統合する2つの$N$を$N$行列に乗算する理論的アプローチについて述べる。
デンス行列乗算は畳み込みニューラルネットワークトレーニングにおけるコア演算である。
論文 参考訳（メタデータ） (2020-06-25T18:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。