論文の概要: Optimizing Memory in Reservoir Computers
- arxiv url: http://arxiv.org/abs/2201.01605v1
- Date: Wed, 5 Jan 2022 13:38:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 05:43:29.557614
- Title: Optimizing Memory in Reservoir Computers
- Title（参考訳）: 貯留層コンピュータにおけるメモリ最適化
- Authors: Thomas L. Carroll
- Abstract要約: 貯水池コンピュータは高次元力学系を用いて計算を行う方法である。
ネットワークはノード間のフィードバックを生成するため、貯水池コンピュータはメモリを持つ。
このメモリの持続時間は、貯水池コンピュータが特定の問題を解決するのにどれだけの時間がかかるかを決定するのに重要である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A reservoir computer is a way of using a high dimensional dynamical system
for computation. One way to construct a reservoir computer is by connecting a
set of nonlinear nodes into a network. Because the network creates feedback
between nodes, the reservoir computer has memory. If the reservoir computer is
to respond to an input signal in a consistent way (a necessary condition for
computation), the memory must be fading; that is, the influence of the initial
conditions fades over time. How long this memory lasts is important for
determining how well the reservoir computer can solve a particular problem. In
this paper I describe ways to vary the length of the fading memory in reservoir
computers. Tuning the memory can be important to achieve optimal results in
some problems; too much or too little memory degrades the accuracy of the
computation.
- Abstract（参考訳）: 貯水池コンピュータは高次元力学系を用いて計算を行う方法である。
貯水池コンピュータを構築する一つの方法は、非線形ノードの集合をネットワークに接続することである。
ネットワークはノード間のフィードバックを生成するため、貯水池コンピュータはメモリを持つ。
もしリザーバコンピュータが、一貫した方法で入力信号に応答する(計算に必要な条件)のであれば、メモリはフェードしなければならず、すなわち初期状態の影響は時間とともに消失する。
このメモリの持続時間は、貯水池コンピュータが特定の問題をどの程度解決できるかを決定する上で重要である。
本稿では,リザーバコンピュータのフェーディングメモリの長さを変化させる方法について述べる。
メモリのチューニングは、いくつかの問題において最適な結果を達成するために重要である。
関連論文リスト
- Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。
CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
論文 参考訳（メタデータ） (2024-11-13T20:30:15Z) - Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - Solving the time-complexity problem and tuning the performance of
quantum reservoir computing by artificial memory restriction [0.0]
時間的タスクを解くための量子貯水池計算の適合性は、測定が行われると量子システムの崩壊によって妨げられる。
少数の入力のみを用いて量子貯水池のメモリを人工的に制限することを提案する。
線形および二次的なアルゴリズムを,完全連結な逆イジングモデルと量子プロセッサモデルに対して数値的に検討する。
論文 参考訳（メタデータ） (2023-06-22T13:37:34Z) - Optimization of the Memory Reset Rate of a Quantum Echo-State Network
for Time Sequential Tasks [0.0]
量子貯水池コンピューティングは、量子ビットのレジスタに基づくエコー状態ネットワークの貯水池を含む量子機械学習アルゴリズムのクラスである。
ネットワークのメモリと量子貯水池の進化のリセット率の関係について検討する。
論文 参考訳（メタデータ） (2022-10-03T16:08:06Z) - A Co-design view of Compute in-Memory with Non-Volatile Elements for
Neural Networks [12.042322495445196]
次世代のコンピューティングハードウェアにおいて,コンピュート・イン・メモリがいかに重要な役割を果たすかを論じる。
非揮発性メモリベースのクロスバーアーキテクチャは、アナログプロセスを使用して行列ベクトル乗算演算を並列化するエンジンの心臓を形成する。
クロスバーアーキテクチャは、時にはニューロモルフィックアプローチと呼ばれ、将来のコンピュータにおいて重要なハードウェア要素となる。
論文 参考訳（メタデータ） (2022-06-03T15:59:46Z) - Time Shifts to Reduce the Size of Reservoir Computers [0.0]
貯水池コンピュータは計算を行うために配置された力学系の一種である。
我々は,貯水池コンピュータを,小さな非線形ノード(貯水池)と時間シフト型貯水池出力信号の2つの部分に分けられることを示す。
論文 参考訳（メタデータ） (2022-05-03T11:42:36Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z) - Reservoir Stack Machines [77.12475691708838]
メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。
本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。
以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
論文 参考訳（メタデータ） (2021-05-04T16:50:40Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-10-05T12:01:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。