論文の概要: Illuminating the Black Box of Reservoir Computing

• arxiv url: http://arxiv.org/abs/2511.17003v1
• Date: Fri, 21 Nov 2025 07:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.916503
• Title: Illuminating the Black Box of Reservoir Computing
• Title（参考訳）: 貯留層コンピューティングのブラックボックスの照明
• Authors: Claus Metzner, Achim Schilling, Thomas Kinfe, Andreas Maier, Patrick Krauss,
• Abstract要約: 本研究の目的は、異なるモデルタスクに必要な最小の計算要素を特定することである。 ニューロンの数、非線形性、結合構造の必要性について検討する。 驚いたことに、読み出し層が計算の大部分を実行する非自明なケースが見つかる。
• 参考スコア（独自算出の注目度）: 2.925652638976278
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reservoir computers, based on large recurrent neural networks with fixed random connections, are known to perform a wide range of information processing tasks. However, the nature of data transformations within the reservoir, the interplay of input matrix, reservoir, and readout layer, as well as the effect of varying design parameters remain poorly understood. In this study, we shift the focus from performance maximization to systematic simplification, aiming to identify the minimal computational ingredients required for different model tasks. We examine how many neurons, how much nonlinearity, and which connective structure is necessary and sufficient to perform certain tasks, considering also neurons with non-sigmoidal activation functions and networks with non-random connectivity. Surprisingly, we find non-trivial cases where the readout layer performs the bulk of the computation, with the reservoir merely providing weak nonlinearity and memory. Furthermore, design aspects often considered secondary, such as the structure of the input matrix, the steepness of activation functions, or the precise input/output timing, emerge as critical determinants of system performance in certain tasks.
• Abstract（参考訳）: ランダム接続が固定された大規模なリカレントニューラルネットワークに基づく貯留層コンピュータは、幅広い情報処理タスクを実行することが知られている。 しかし, 貯水池内のデータ変換の性質, 入力行列, 貯水池, 読み出し層の相互作用, および各種設計パラメータの影響はよく分かっていない。 本研究では,性能最大化から体系的単純化へ焦点を移し,異なるモデルタスクに必要な最小の計算量を特定することを目的とした。 非シグモダル活性化関数を持つニューロンや非ランダム接続性を有するネットワークも考慮し, ニューロン数, 非線形性, 接続構造がどの程度必要か, 特定のタスクを実行するのに十分かを検討する。 意外なことに、読み出し層が計算の大部分を実行する非自明なケースが見つかり、貯水池は単に弱い非線形性とメモリを提供するだけである。 さらに、入力行列の構造、アクティベーション関数の急激さ、正確な入出力タイミングなどの設計面は、特定のタスクにおけるシステム性能の重要な決定要因として現れることが多い。

関連論文リスト

• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Uncovering the Functional Roles of Nonlinearity in Memory [2.315156126698557]
  我々は、繰り返しネットワークにおける非線形性の機能的役割を系統的に解明するために、性能比較を超えていく。 ニアリニアリカレントニューラルネットワーク(AL-RNN)を用いて非線形性に対するきめ細かい制御を可能にする。 最小の非線形性は十分であるだけでなく、しばしば最適であり、より単純で、より堅牢で、完全に非線形あるいは線形なモデルよりも解釈可能なモデルが得られる。
  論文  参考訳（メタデータ） (2025-06-09T16:32:19Z)
• Quantum Convolutional Neural Network with Flexible Stride [7.362858964229726]
  本稿では,新しい量子畳み込みニューラルネットワークアルゴリズムを提案する。 異なるタスクに対応するために、柔軟にストライドを調整できます。 データスケールの指数加速度を、従来のものに比べて少ないメモリで達成することができる。
  論文  参考訳（メタデータ） (2024-12-01T02:37:06Z)
• Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
  複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。 極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
  論文  参考訳（メタデータ） (2024-11-15T08:52:12Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Task Agnostic Metrics for Reservoir Computing [0.0]
  物理貯水池計算は、物理物質における時間的パターン認識を可能にする計算パラダイムである。 選択された力学系は、非線形性、複雑性、暗くなるメモリの3つの望ましい特性を持つ必要がある。 一般に, 減衰率の低いシステムは, 3つの評価指標すべてにおいて高い値に達することが示されている。
  論文  参考訳（メタデータ） (2021-08-03T13:58:11Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。