論文の概要: Reservoir Computing meets Recurrent Kernels and Structured Transforms

• arxiv url: http://arxiv.org/abs/2006.07310v2
• Date: Wed, 21 Oct 2020 16:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:53:24.598747
• Title: Reservoir Computing meets Recurrent Kernels and Structured Transforms
• Title（参考訳）: リカレントカーネルと構造化トランスフォーメーションを考慮したリザーバコンピューティング
• Authors: Jonathan Dong, Ruben Ohana, Mushegh Rafayelyan, and Florent Krzakala
• Abstract要約: Reservoir Computing(Reservoir Computing)は、単純だが効率的なリカレントニューラルネットワークのクラスである。 我々はReservoir Computingのリカレントカーネル限界を厳格に確立する。 リカレントカーネルが、データポイントの数が適度なままである場合に、どのように競争力と計算効率を保っているかを示す。
• 参考スコア（独自算出の注目度）: 24.702585218407364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir Computing is a class of simple yet efficient Recurrent Neural Networks where internal weights are fixed at random and only a linear output layer is trained. In the large size limit, such random neural networks have a deep connection with kernel methods. Our contributions are threefold: a) We rigorously establish the recurrent kernel limit of Reservoir Computing and prove its convergence. b) We test our models on chaotic time series prediction, a classic but challenging benchmark in Reservoir Computing, and show how the Recurrent Kernel is competitive and computationally efficient when the number of data points remains moderate. c) When the number of samples is too large, we leverage the success of structured Random Features for kernel approximation by introducing Structured Reservoir Computing. The two proposed methods, Recurrent Kernel and Structured Reservoir Computing, turn out to be much faster and more memory-efficient than conventional Reservoir Computing.
• Abstract（参考訳）: リザーバコンピューティングは、内部重みをランダムに固定し、線形出力層のみを訓練する、単純かつ効率的なリカレントニューラルネットワークのクラスである。 大きなサイズ制限では、そのようなランダムニューラルネットワークはカーネルメソッドと深いつながりを持つ。 私たちの貢献は3倍です a) 貯留層計算の繰り返しカーネル限界を厳格に確立し、その収束を証明する。 b) Reservoir Computing の古典的かつ挑戦的なベンチマークであるカオス時系列予測のモデルを検証し,データポイント数が適度である場合,Recurrent Kernel がいかに競争力と計算効率が高いかを示す。 c) サンプル数が大きすぎると,構造化リザーバコンピューティングの導入により,カーネル近似のための構造化ランダム特徴の成功を活用できる。 提案した2つの手法であるRecurrent KernelとStructured Reservoir Computingは、従来のReservoir Computingよりもはるかに高速でメモリ効率が高いことがわかった。

関連論文リスト

• Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
  本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。 我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
  論文  参考訳（メタデータ） (2024-09-15T22:44:09Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels [5.1672267755831705]
  異なるデータセットに対するパラメータ推論の補正は、トレーニング時間を劇的に高速化するための有望なアプローチである。 本稿では,固定化されたカーネル構造ではなく,完全なカーネル構造ファミリ上でのカーネルパラメータのアモータイズを提案する。 大規模なカーネルとデータセットの競合テスト性能と合わせて,推論時間を大幅に短縮することを示す。
  論文  参考訳（メタデータ） (2023-06-16T13:02:57Z)
• A Simple Algorithm For Scaling Up Kernel Methods [0.0]
  ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2023-01-26T20:59:28Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence [0.18416014644193063]
  我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。 検討されたすべての方法は、支配的なカーネルスペクトルを近似するために、インジェクション(カーネル)列の代表的なサブセットを特定することを目的としている。
  論文  参考訳（メタデータ） (2022-12-24T13:45:50Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。