論文の概要: Complexity-calibrated Benchmarks for Machine Learning Reveal When Next-Generation Reservoir Computer Predictions Succeed and Mislead

• arxiv url: http://arxiv.org/abs/2303.14553v1
• Date: Sat, 25 Mar 2023 20:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 18:54:40.589366
• Title: Complexity-calibrated Benchmarks for Machine Learning Reveal When Next-Generation Reservoir Computer Predictions Succeed and Mislead
• Title（参考訳）: 次世代貯留層予測における機械学習の複雑度校正ベンチマーク
• Authors: Sarah E. Marzen and Paul M. Riechers and James P. Crutchfield
• Abstract要約: リカレントニューラルネットワークは、金融、気候、言語、その他の多くの領域における時系列を予測するために使用される。 メモリトレースが合理的に長い次世代貯水池コンピュータは、次の観測を予測する際に、到達可能な最小の誤差確率よりも少なくとも60%高い誤差確率を有する。 結果は、新しい世代の最適化されたリカレントニューラルネットワークアーキテクチャの必要性を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks are used to forecast time series in finance, climate, language, and from many other domains. Reservoir computers are a particularly easily trainable form of recurrent neural network. Recently, a "next-generation" reservoir computer was introduced in which the memory trace involves only a finite number of previous symbols. We explore the inherent limitations of finite-past memory traces in this intriguing proposal. A lower bound from Fano's inequality shows that, on highly non-Markovian processes generated by large probabilistic state machines, next-generation reservoir computers with reasonably long memory traces have an error probability that is at least ~ 60% higher than the minimal attainable error probability in predicting the next observation. More generally, it appears that popular recurrent neural networks fall far short of optimally predicting such complex processes. These results highlight the need for a new generation of optimized recurrent neural network architectures. Alongside this finding, we present concentration-of-measure results for randomly-generated but complex processes. One conclusion is that large probabilistic state machines -- specifically, large $\epsilon$-machines -- are key to generating challenging and structurally-unbiased stimuli for ground-truthing recurrent neural network architectures.
• Abstract（参考訳）: リカレントニューラルネットワークは、金融、気候、言語、その他の多くのドメインから時系列を予測するために使用される。 貯留層コンピュータは、特に訓練が容易なリカレントニューラルネットワークである。 近年,メモリトレースに先行するシンボルが有限個しか含まれない「次世代型」貯水池コンピュータが導入された。 この興味深い提案では,有限パストメモリトレースの固有の制限について検討する。 ファノの不等式より低い境界は、大きな確率的状態マシンによって生成される高度に非マルコフ過程において、合理的に長いメモリトレースを持つ次世代貯水池コンピュータは、次の観測を予測できる最小の到達可能な誤差確率よりも少なくとも60%高い誤差確率を持つことを示している。 より一般的には、人気のあるリカレントニューラルネットワークは、そのような複雑なプロセスを最適に予測できない。 これらの結果は、新しい世代の最適化されたリカレントニューラルネットワークアーキテクチャの必要性を強調している。 この発見と並行して、ランダムに生成されたが複雑なプロセスに対する集中度測定結果を示す。 一つの結論は、大きな確率的状態マシン(特に、大きな$\epsilon$-machines)が、地上で繰り返し発生するニューラルネットワークアーキテクチャのための挑戦的で構造的に不偏な刺激を生み出す鍵であるということだ。

関連論文リスト

• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Going in circles is the way forward: the role of recurrence in visual inference [0.0]
  視覚認識のための最先端のニューラルネットワークモデルは、フィードフォワード計算に大きく、あるいは排他的に依存している。 この重要な洞察は、計算神経科学者が繰り返し計算を行う必要がないことを示唆している。 我々は、FNNはRNNの特殊なケースであり、計算神経科学者や技術者は、脳や機械がより柔軟で柔軟な計算深度を達成する方法を理解するために、繰り返し作業を行うべきであると論じている。
  論文  参考訳（メタデータ） (2020-03-26T19:53:05Z)
• Deep Randomized Neural Networks [12.333836441649343]
  ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
  論文  参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。