論文の概要: Limits to Analog Reservoir Learning

• arxiv url: http://arxiv.org/abs/2307.14474v4
• Date: Sun, 06 Apr 2025 02:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 11:48:45.446559
• Title: Limits to Analog Reservoir Learning
• Title（参考訳）: アナログ貯留層学習の限界
• Authors: Anthony M. Polloreno,
• Abstract要約: アナログ貯水池コンピュータの学習能力に及ぼす雑音の影響について検討する。 情報処理能力(IPC)はノイズによる性能劣化の定量化に有用な指標であることを示す。 ノイズに晒された物理的アナログ貯水池コンピュータは、学習量の増加にのみ利用できると結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir computation is a recurrent framework for learning and predicting time series data, that benefits from extremely simple training and interpretability, often as the the dynamics of a physical system. In this paper, we will study the impact of noise on the learning capabilities of analog reservoir computers. Recent work on reservoir computation has shown that the information processing capacity (IPC) is a useful metric for quantifying the degradation of the performance due to noise. We further this analysis and demonstrate that this degradation of the IPC limits the possible features that can be meaningfully constructed in an analog reservoir computing setting. We borrow a result from quantum complexity theory that relates the circuit model of computation to a continuous time model, and demonstrate an exponential reduction in the accessible volume of reservoir configurations. We conclude by relating this degradation in the IPC to the fat-shattering dimension of a family of functions describing the reservoir dynamics, which allows us to express our result in terms of a classification task. We conclude that any physical, analog reservoir computer that is exposed to noise can only be used to perform a polynomial amount of learning, despite the exponentially large latent space, even with an exponential amount of post-processing.
• Abstract（参考訳）: 貯留層計算(Reservoir compute)は、時系列データを学習し、予測するための反復的なフレームワークであり、しばしば物理系の力学として、非常に単純な訓練と解釈可能性の恩恵を受ける。 本稿では,アナログ貯水池コンピュータの学習能力に及ぼす雑音の影響について検討する。 貯水池計算の最近の研究は、情報処理能力(IPC)がノイズによる性能劣化の定量化に有用な指標であることが示されている。 さらに、この分析により、ICCの劣化により、アナログ貯水池計算環境において有意義に構築できる可能性のある特徴が制限されることを実証する。 計算の回路モデルと連続時間モデルとを関連づけた量子複雑性理論の結果を借り、貯水池構成の容量を指数関数的に減らしたことを示す。 我々は、IPCのこの劣化を貯水池の力学を記述した関数群の脂肪破砕次元に関連づけることで、分類タスクの観点で結果を表現することができると結論付けた。 我々は,指数関数的に大きい潜在空間であっても,雑音に曝される任意の物理的アナログ貯水池コンピュータは,指数関数的な後処理量であっても,多項式量の学習にのみ使用できると結論付けた。

関連論文リスト

• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Oscillations enhance time-series prediction in reservoir computing with feedback [3.3686252536891454]
  貯留層コンピューティング(Reservoir computing)は、脳のモデリングに使用される機械学習フレームワークである。 貯水池系が不安定になるため、長期目標時系列を正確に再現することは困難である。 本研究では,振動駆動型貯水池計算 (ODRC) をフィードバックで提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:30:29Z)
• Stochastic Reservoir Computers [0.0]
  貯水池計算では、貯水池のコンピュータ全体の異なる状態の数は、貯水池のハードウェアのサイズに比例して指数関数的にスケールすることができる。 ショットノイズは貯水池計算の性能に限界があるが,ノイズの影響が小さい場合,類似のハードウェアを持つ貯水池コンピュータに比べて性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-20T21:26:00Z)
• Tuning the activation function to optimize the forecast horizon of a reservoir computer [0.0]
  本稿では,ノード活性化関数が貯水池コンピュータのカオス時系列の学習と予測能力に与える影響について検討する。 貯水池の予測が正確である時間であるフォアキャスト・ホライゾン(FH)は、16の活性化関数の集合で桁違いに変化する。
  論文  参考訳（メタデータ） (2023-12-20T16:16:01Z)
• Squeezing as a resource for time series processing in quantum reservoir computing [3.072340427031969]
  時系列処理におけるニューロモルフィック機械学習におけるスクイーズの効果について考察する。 特に,貯水池計算のためのループ型フォトニックアーキテクチャについて考察する。 マルチモードスクイーズによりアクセス可能なメモリが向上し,複数のベンチマーク時間的タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-11T11:45:31Z)
• Memory capacity of two layer neural networks with smooth activations [27.33243506775655]
  隠れニューロンと入力次元が$d$の2層ニューラルネットワークのメモリ容量を決定する。 我々は、ネットワークのヤコビアン(英語版)の正確な一般的なランクを導出する。 われわれのアプローチは、メモリ容量に関する以前の研究と異なり、より深いモデルへの拡張を約束している。
  論文  参考訳（メタデータ） (2023-08-03T19:31:15Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• On sampling determinantal and Pfaffian point processes on a quantum computer [49.1574468325115]
  DPPは1970年代の量子光学のモデルとしてマッキによって導入された。 ほとんどのアプリケーションはDPPからのサンプリングを必要としており、その量子起源を考えると、古典的なコンピュータでDPPをサンプリングするのは古典的なものよりも簡単かどうか疑問に思うのが自然である。 バニラサンプリングは、各コスト$mathcalO(N3)$と$mathcalO(Nr2)$の2つのステップから構成される。
  論文  参考訳（メタデータ） (2023-05-25T08:43:11Z)
• Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
  我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。 我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。 この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-20T19:15:02Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
  期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。 低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T22:51:07Z)
• Effect of temporal resolution on the reproduction of chaotic dynamics via reservoir computing [0.0]
  貯水池コンピューティング(Reservoir computing)は、非線形性と短期記憶を備えた貯水池と呼ばれる構造を用いる機械学習パラダイムである。 本研究では,サンプリングが貯水池コンピューティングのカオス時系列を自律的に再生する能力に与える影響を解析する。
  論文  参考訳（メタデータ） (2023-01-27T13:31:15Z)
• Dissipation as a resource for Quantum Reservoir Computing [3.4078654008228924]
  量子貯水池計算の分野における散逸によるポテンシャル増強について述べる。 連続散逸に基づく我々のアプローチは、従来の量子貯水池計算の提案の力学を再現するだけでなく、その応用も可能である。
  論文  参考訳（メタデータ） (2022-12-22T23:30:07Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Natural quantum reservoir computing for temporal information processing [4.785845498722406]
  貯留層計算(Reservoir computing)は、人工的または物理的散逸動態を利用する時間情報処理システムである。 本稿では, 量子ビットに付加される自然ノイズによって散逸特性が供給される貯水池として, 現実の超伝導量子コンピューティングデバイスを用いる方法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T01:58:57Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Random pattern and frequency generation using a photonic reservoir computer with output feedback [3.0395687958102937]
  貯留層コンピューティング(Reservoir computing)は、時間依存信号を処理するためのバイオインスパイアされたコンピューティングパラダイムである。 出力フィードバックを持つ最初の光電子貯水池コンピュータを実演し、時系列生成タスクの2つの例でテストする。
  論文  参考訳（メタデータ） (2020-12-19T07:26:32Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
  相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。 ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
  論文  参考訳（メタデータ） (2020-05-25T18:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。