論文の概要: RcTorch: a PyTorch Reservoir Computing Package with Automated Hyper-Parameter Optimization

• arxiv url: http://arxiv.org/abs/2207.05870v1
• Date: Tue, 12 Jul 2022 22:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 11:56:22.578697
• Title: RcTorch: a PyTorch Reservoir Computing Package with Automated Hyper-Parameter Optimization
• Title（参考訳）: RcTorch: 自動ハイパーパラメータ最適化を備えたPyTorch貯留層計算パッケージ
• Authors: Hayden Joy, Marios Mattheakis, Pavlos Protopapas
• Abstract要約: 貯水池コンピュータ(Reservoir computer, RC)は、全てのニューラルネットワークにおいて最速の訓練である。 RCの採用は、モデルがハイパーパラメータに敏感であるために遅れている。 我々は、自動HPチューニングを備えたPyTorchベースのRCニューラルネットワークパッケージであるRcTorchを紹介する。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir computers (RCs) are among the fastest to train of all neural networks, especially when they are compared to other recurrent neural networks. RC has this advantage while still handling sequential data exceptionally well. However, RC adoption has lagged other neural network models because of the model's sensitivity to its hyper-parameters (HPs). A modern unified software package that automatically tunes these parameters is missing from the literature. Manually tuning these numbers is very difficult, and the cost of traditional grid search methods grows exponentially with the number of HPs considered, discouraging the use of the RC and limiting the complexity of the RC models which can be devised. We address these problems by introducing RcTorch, a PyTorch based RC neural network package with automated HP tuning. Herein, we demonstrate the utility of RcTorch by using it to predict the complex dynamics of a driven pendulum being acted upon by varying forces. This work includes coding examples. Example Python Jupyter notebooks can be found on our GitHub repository https://github.com/blindedjoy/RcTorch and documentation can be found at https://rctorch.readthedocs.io/.
• Abstract（参考訳）: 貯水池コンピュータ(rcs)は、他のリカレントニューラルネットワークと比較した場合、すべてのニューラルネットワークの中で最速のトレーニングである。 RCはシーケンシャルなデータを処理しながらも、この優位性を持っている。 しかし、RCの採用は、モデルがハイパーパラメータ(HPs)に敏感であるため、他のニューラルネットワークモデルを引き付けている。 これらのパラメータを自動的にチューニングする現代的な統一ソフトウェアパッケージは、文献に欠けている。 これらの数値を手動で調整することは極めて困難であり、従来のグリッド探索手法のコストは、考慮されたHPの数とともに指数関数的に増加し、RCの使用を妨げ、考案可能なRCモデルの複雑さを制限する。 PyTorchベースのRCニューラルネットワークパッケージであるRcTorchを導入し,HPの自動チューニングを実現する。 そこで本研究では,様々な力によって作用する駆動振り子の複雑なダイナミクスを予測し,rctorchの有用性を実証する。 この作品にはコーディングの例が含まれている。 例えば、python jupyter notebooksはgithubリポジトリhttps://github.com/blindedjoy/rctorchで、ドキュメントはhttps://rctorch.readthedocs.io/で閲覧できます。

関連論文リスト

• Exploring Green AI for Audio Deepfake Detection [21.17957700009653]
  ディープニューラルネットワークを利用した最先端のオーディオディープフェイク検出器は、印象的な認識性能を示している。 ディープNLPモデルはCOtextsubscript2の約626klbのCOtextsubscript2を生成する。 そこで本研究では,標準CPUリソースを用いてシームレスにトレーニング可能な,オーディオディープフェイク検出のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T10:54:21Z)
• HyperPPO: A scalable method for finding small policies for robotic control [14.789594427174052]
  HyperPPOは、複数のニューラルネットワークの重みを同時に推定する、政治上の強化学習アルゴリズムである。 提案手法は,高パフォーマンスなポリシーを符号化していない一般用ネットワークよりもはるかに小さいネットワークの重みを推定する。 我々は、HyperPPOが見積もる神経政策が、Crazyflie2.1のクアドローターを分散制御できることを示した。
  論文  参考訳（メタデータ） (2023-09-28T17:58:26Z)
• RoseNNa: A performant, portable library for neural network inference with application to computational fluid dynamics [0.0]
  本稿では,ニューラルネットワーク推論とCFDのギャップを埋めるRoseNNaライブラリを提案する。 RoseNNaは、ニューラルネットワーク推論のための非侵襲的で軽量(1000行)ツールである。
  論文  参考訳（メタデータ） (2023-07-30T21:11:55Z)
• Rockmate: an Efficient, Fast, Automatic and Generic Tool for Re-materialization in PyTorch [1.3816155029354618]
  PyTorch DNNモデルのトレーニングにおいて,メモリ要求を制御するためにRockmateを提案する。 Rockmateは、モデルコードから始まり、アクティベーションのために予め定義されたメモリ量を使用して等価なモデルを生成する自動ツールである。 我々は、RockmateがRotorと同じくらい高速で、Checkmateと同じくらい効率的であることを示す多くのモデルの実験を通して、多くのケースにおいてアクティベーションのメモリ消費が大幅に減少することを示す。
  論文  参考訳（メタデータ） (2023-07-03T11:42:14Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Scaling Up Models and Data with $\texttt{t5x}$ and $\texttt{seqio}$ [118.04625413322827]
  $texttt5x$と$texttseqio$は、言語モデルの構築とトレーニングのためのオープンソースのソフトウェアライブラリである。 これらのライブラリは、複数のテラバイトのトレーニングデータを持つデータセット上で、数十億のパラメータを持つモデルをトレーニングするために使用されています。
  論文  参考訳（メタデータ） (2022-03-31T17:12:13Z)
• Hyperparameter Tuning is All You Need for LISTA [92.7008234085887]
  Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 LISTAネットワークの中間変数に運動量を加えることで、より優れた収束率が得られることを示す。 この超軽量ネットワークをHyperLISTAと呼ぶ。
  論文  参考訳（メタデータ） (2021-10-29T16:35:38Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Recurrence-free unconstrained handwritten text recognition using gated fully convolutional network [2.277447144331876]
  制約のない手書きテキスト認識は、ほとんどのドキュメント分析タスクの主要なステップです。 LSTM細胞を使用する別の方法の1つは、畳み込み層を多用して長期記憶損失を補うことである。 我々は、よく知られたCNN+LSTMアーキテクチャの再発のない代替であるGated Fully Convolutional Networkアーキテクチャを紹介します。
  論文  参考訳（メタデータ） (2020-12-09T10:30:13Z)
• On the distance between two neural networks and the stability of learning [59.62047284234815]
  本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。 この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
  論文  参考訳（メタデータ） (2020-02-09T19:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。