論文の概要: Intrinsic Voltage Offsets in Memcapacitive Bio-Membranes Enable High-Performance Physical Reservoir Computing
- arxiv url: http://arxiv.org/abs/2405.09545v1
- Date: Sat, 27 Apr 2024 05:47:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 03:17:55.482616
- Title: Intrinsic Voltage Offsets in Memcapacitive Bio-Membranes Enable High-Performance Physical Reservoir Computing
- Title（参考訳）: 高性能物理貯留層計算を可能にする膜キャパシタ型バイオ膜中の固有の電圧オフセット
- Authors: Ahmed S. Mohamed, Anurag Dhungel, Md Sakib Hasan, Joseph S. Najem,
- Abstract要約: 貯留層コンピューティング(Reservoir computing)は、入力を高次元空間にマッピングすることで、時間データを処理するための脳にインスパイアされた機械学習フレームワークである。
本稿では、内部電圧オフセットを利用して、単調および非単調の入力状態相関を可能にする新しい膜キャパシタベースのPRCを提案する。
当社のアプローチと前例のないパフォーマンスは,高パフォーマンスフルテマリアPRCに向けた大きなマイルストーンです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing is a brain-inspired machine learning framework for processing temporal data by mapping inputs into high-dimensional spaces. Physical reservoir computers (PRCs) leverage native fading memory and nonlinearity in physical substrates, including atomic switches, photonics, volatile memristors, and, recently, memcapacitors, to achieve efficient high-dimensional mapping. Traditional PRCs often consist of homogeneous device arrays, which rely on input encoding methods and large stochastic device-to-device variations for increased nonlinearity and high-dimensional mapping. These approaches incur high pre-processing costs and restrict real-time deployment. Here, we introduce a novel heterogeneous memcapacitor-based PRC that exploits internal voltage offsets to enable both monotonic and non-monotonic input-state correlations crucial for efficient high-dimensional transformations. We demonstrate our approach's efficacy by predicting a second-order nonlinear dynamical system with an extremely low prediction error (0.00018). Additionally, we predict a chaotic H\'enon map, achieving a low normalized root mean square error (0.080). Unlike previous PRCs, such errors are achieved without input encoding methods, underscoring the power of distinct input-state correlations. Most importantly, we generalize our approach to other neuromorphic devices that lack inherent voltage offsets using externally applied offsets to realize various input-state correlations. Our approach and unprecedented performance are a major milestone towards high-performance full in-materia PRCs.
- Abstract（参考訳）: 貯留層コンピューティング(Reservoir computing)は、入力を高次元空間にマッピングすることで、時間データを処理するための脳にインスパイアされた機械学習フレームワークである。
物理貯水池コンピュータ(PRC)は、原子スイッチ、フォトニクス、揮発性メムリスタ、そして近年では、メムキャパシタなどの物理基板のネイティブなフェージングメモリと非線形性を活用して、効率的な高次元マッピングを実現している。
従来のPRCは、入力符号化法と、非線形性の向上と高次元マッピングのための大きな確率的なデバイス間バリエーションに依存する、均質なデバイスアレイで構成されていることが多い。
これらのアプローチは、高い事前処理コストを発生させ、リアルタイムデプロイメントを制限する。
本稿では、内部電圧オフセットを利用して、高次元変換に欠かせない単調および非単調な入力状態相関を実現する。
予測誤差が極端に低い2次非線形力学系(0.00018)を予測し,本手法の有効性を実証する。
さらに,低正規化根平均二乗誤差(0.080)を達成し,カオスなH'enon写像を予測する。
従来のPRCとは異なり、そのようなエラーは入力エンコーディングの手法を使わずに達成され、異なる入力状態相関のパワーを裏付ける。
最も重要なことは、外部に印加されたオフセットを用いて固有の電圧オフセットを欠く他のニューロモルフィックデバイスへのアプローチを一般化し、様々な入力状態相関を実現することである。
当社のアプローチと前例のないパフォーマンスは,高パフォーマンスフルテマリアPRCに向けた大きなマイルストーンです。
関連論文リスト
- CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。
まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。
分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
論文 参考訳（メタデータ） (2024-11-25T07:56:13Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。
提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。
実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-09-11T05:55:51Z) - Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。
資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。
これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
論文 参考訳（メタデータ） (2024-04-08T20:02:19Z) - Laughing Hyena Distillery: Extracting Compact Recurrences From
Convolutions [101.08706223326928]
近年のアテンションフリーシーケンスモデルの発展は、トランスフォーマーのコアにあるアテンション演算子の代替として、畳み込みに依存している。
本稿では,事前学習した長大な畳み込みアーキテクチャにおいて,トークン当たりの計算コストとメモリコストを$mathcal O(1)$にすることを提案する。
論文 参考訳（メタデータ） (2023-10-28T18:40:03Z) - Brain-Inspired Reservoir Computing Using Memristors with Tunable
Dynamics and Short-Term Plasticity [0.0]
本研究では,少数の異なるメムリスタで構築された貯水層が,単一のデータ符号化による予測精度と分類精度を著しく向上することを示す。
神経活動分類タスクでは、わずか3つの異なるメムリスタの貯水池が96.5%の精度を実験的に達成した。
論文 参考訳（メタデータ） (2023-10-25T03:27:43Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Sparse Attention Acceleration with Synergistic In-Memory Pruning and
On-Chip Recomputation [6.303594714446706]
自己認識機構は、入力シーケンス全体にわたってペアワイズ相関を計測する。
良好な性能にもかかわらず、ペアワイズ相関を計算するのは非常にコストがかかる。
この研究は、注意点を近似的に計算するSPRINTと呼ばれるアクセラレーターを設計することで、これらの制約に対処する。
論文 参考訳（メタデータ） (2022-09-01T17:18:19Z) - Non-linear manifold ROM with Convolutional Autoencoders and Reduced
Over-Collocation method [0.0]
非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。
我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。
本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
論文 参考訳（メタデータ） (2022-03-01T11:16:50Z) - Nonlinear state-space identification using deep encoder networks [0.0]
本稿では,データセットを独立したセクションに分割することで,シミュレーション損失を近似する手法を提案する。
主な貢献は、各セクションの開始時に初期状態を推定するためのエンコーダ関数の導入である。
論文 参考訳（メタデータ） (2020-12-14T16:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。