論文の概要: Limits to Reservoir Learning

• arxiv url: http://arxiv.org/abs/2307.14474v1
• Date: Wed, 26 Jul 2023 19:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-07-28 16:36:43.963721
• Title: Limits to Reservoir Learning
• Title（参考訳）: 貯水池学習の限界
• Authors: Anthony M. Polloreno
• Abstract要約: 我々は、情報処理能力(IPC)を用いて、貯水池コンピュータの性能の劣化を測定する。 この分解は、貯水池で表される関数の族が学習するために指数的な数のサンプルを必要とすることを意味する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we bound a machine's ability to learn based on computational limitations implied by physicality. We start by considering the information processing capacity (IPC), a normalized measure of the expected squared error of a collection of signals to a complete basis of functions. We use the IPC to measure the degradation under noise of the performance of reservoir computers, a particular kind of recurrent network, when constrained by physical considerations. First, we show that the IPC is at most a polynomial in the system size $n$, even when considering the collection of $2^n$ possible pointwise products of the $n$ output signals. Next, we argue that this degradation implies that the family of functions represented by the reservoir requires an exponential number of samples to learn in the presence of the reservoir's noise. Finally, we conclude with a discussion of the performance of the same collection of $2^n$ functions without noise when being used for binary classification.
• Abstract（参考訳）: 本研究では,物理性が示唆する計算限界に基づいて学習する機械の能力を限定した。 まず,信号集合の期待二乗誤差の正規化尺度である情報処理能力(IPC)を関数の完全基底として検討することから始める。 我々はIPCを用いて、物理的考察に制約された場合、特定の種類のリカレントネットワークである貯水池コンピュータの性能のノイズ下での劣化を測定する。 まず、ipcは、n$出力信号のポイントワイズ生成可能な2^n$の集まりを考える場合でも、システムサイズで最大で$n$の多項式であることを示す。 次に, この劣化は, 貯留層で表される関数の族が, 貯留層ノイズの存在下で学習するために指数関数的なサンプル数を必要とすることを示唆する。 最後に、バイナリ分類に使用する場合、ノイズのない2^n$関数の同じコレクションのパフォーマンスに関する議論を締めくくった。

関連論文リスト

• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Oscillations enhance time-series prediction in reservoir computing with feedback [3.3686252536891454]
  貯留層コンピューティング(Reservoir computing)は、脳のモデリングに使用される機械学習フレームワークである。 貯水池系が不安定になるため、長期目標時系列を正確に再現することは困難である。 本研究では,振動駆動型貯水池計算 (ODRC) をフィードバックで提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:30:29Z)
• Stochastic Reservoir Computers [0.0]
  貯水池計算では、貯水池のコンピュータ全体の異なる状態の数は、貯水池のハードウェアのサイズに比例して指数関数的にスケールすることができる。 ショットノイズは貯水池計算の性能に限界があるが,ノイズの影響が小さい場合,類似のハードウェアを持つ貯水池コンピュータに比べて性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-20T21:26:00Z)
• Tuning the activation function to optimize the forecast horizon of a reservoir computer [0.0]
  本稿では,ノード活性化関数が貯水池コンピュータのカオス時系列の学習と予測能力に与える影響について検討する。 貯水池の予測が正確である時間であるフォアキャスト・ホライゾン(FH)は、16の活性化関数の集合で桁違いに変化する。
  論文  参考訳（メタデータ） (2023-12-20T16:16:01Z)
• Squeezing as a resource for time series processing in quantum reservoir computing [3.072340427031969]
  時系列処理におけるニューロモルフィック機械学習におけるスクイーズの効果について考察する。 特に,貯水池計算のためのループ型フォトニックアーキテクチャについて考察する。 マルチモードスクイーズによりアクセス可能なメモリが向上し,複数のベンチマーク時間的タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-11T11:45:31Z)
• Memory capacity of two layer neural networks with smooth activations [27.33243506775655]
  隠れニューロンと入力次元が$d$の2層ニューラルネットワークのメモリ容量を決定する。 我々は、ネットワークのヤコビアン(英語版)の正確な一般的なランクを導出する。 われわれのアプローチは、メモリ容量に関する以前の研究と異なり、より深いモデルへの拡張を約束している。
  論文  参考訳（メタデータ） (2023-08-03T19:31:15Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• On sampling determinantal and Pfaffian point processes on a quantum computer [49.1574468325115]
  DPPは1970年代の量子光学のモデルとしてマッキによって導入された。 ほとんどのアプリケーションはDPPからのサンプリングを必要としており、その量子起源を考えると、古典的なコンピュータでDPPをサンプリングするのは古典的なものよりも簡単かどうか疑問に思うのが自然である。 バニラサンプリングは、各コスト$mathcalO(N3)$と$mathcalO(Nr2)$の2つのステップから構成される。
  論文  参考訳（メタデータ） (2023-05-25T08:43:11Z)
• Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
  我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。 我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。 この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-20T19:15:02Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
  期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。 低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T22:51:07Z)
• Effect of temporal resolution on the reproduction of chaotic dynamics via reservoir computing [0.0]
  貯水池コンピューティング(Reservoir computing)は、非線形性と短期記憶を備えた貯水池と呼ばれる構造を用いる機械学習パラダイムである。 本研究では,サンプリングが貯水池コンピューティングのカオス時系列を自律的に再生する能力に与える影響を解析する。
  論文  参考訳（メタデータ） (2023-01-27T13:31:15Z)
• Dissipation as a resource for Quantum Reservoir Computing [3.4078654008228924]
  量子貯水池計算の分野における散逸によるポテンシャル増強について述べる。 連続散逸に基づく我々のアプローチは、従来の量子貯水池計算の提案の力学を再現するだけでなく、その応用も可能である。
  論文  参考訳（メタデータ） (2022-12-22T23:30:07Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Natural quantum reservoir computing for temporal information processing [4.785845498722406]
  貯留層計算(Reservoir computing)は、人工的または物理的散逸動態を利用する時間情報処理システムである。 本稿では, 量子ビットに付加される自然ノイズによって散逸特性が供給される貯水池として, 現実の超伝導量子コンピューティングデバイスを用いる方法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T01:58:57Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Random pattern and frequency generation using a photonic reservoir computer with output feedback [3.0395687958102937]
  貯留層コンピューティング(Reservoir computing)は、時間依存信号を処理するためのバイオインスパイアされたコンピューティングパラダイムである。 出力フィードバックを持つ最初の光電子貯水池コンピュータを実演し、時系列生成タスクの2つの例でテストする。
  論文  参考訳（メタデータ） (2020-12-19T07:26:32Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
  相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。 ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
  論文  参考訳（メタデータ） (2020-05-25T18:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。