論文の概要: Online training for high-performance analogue readout layers in photonic reservoir computers

• arxiv url: http://arxiv.org/abs/2012.10613v1
• Date: Sat, 19 Dec 2020 07:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 04:21:00.390663
• Title: Online training for high-performance analogue readout layers in photonic reservoir computers
• Title（参考訳）: フォトニックリザーバコンピュータにおける高性能アナログ読み出し層のオンライントレーニング
• Authors: Piotr Antonik, Marc Haelterman, Serge Massar
• Abstract要約: 貯留層コンピューティング(Reservoir Computing)は、時間依存の信号を処理するためのバイオインスパイアされたコンピューティングパラダイムである。 これらの実装の主なボトルネックは、遅いオフラインの事後処理に基づく読み出し層である。 本稿では,これらの問題を解決するためのオンライントレーニングを提案する。
• 参考スコア（独自算出の注目度）: 2.6104700758143666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Introduction. Reservoir Computing is a bio-inspired computing paradigm for processing time-dependent signals. The performance of its hardware implementation is comparable to state-of-the-art digital algorithms on a series of benchmark tasks. The major bottleneck of these implementation is the readout layer, based on slow offline post-processing. Few analogue solutions have been proposed, but all suffered from notice able decrease in performance due to added complexity of the setup. Methods. Here we propose the use of online training to solve these issues. We study the applicability of this method using numerical simulations of an experimentally feasible reservoir computer with an analogue readout layer. We also consider a nonlinear output layer, which would be very difficult to train with traditional methods. Results. We show numerically that online learning allows to circumvent the added complexity of the analogue layer and obtain the same level of performance as with a digital layer. Conclusion. This work paves the way to high-performance fully-analogue reservoir computers through the use of online training of the output layers.
• Abstract（参考訳）: はじめに。 貯水池コンピューティングは、時間に依存した信号を処理するためのバイオインスパイアされたコンピューティングパラダイムである。 ハードウェア実装の性能は、一連のベンチマークタスクにおける最先端のデジタルアルゴリズムに匹敵する。 これらの実装の最大のボトルネックは、オフライン後処理の遅い読み込み層である。 アナログソリューションはほとんど提案されていないが、セットアップの複雑さが増すため、パフォーマンスが著しく低下していることに気付きました。 メソッド。 本稿では,これらの問題を解決するためのオンライントレーニングを提案する。 本手法の適用性について,アナログ読み出し層を有する実験可能な貯水池コンピュータの数値シミュレーションを用いて検討した。 また,従来の手法では訓練が困難である非線形出力層も検討した。 結果だ オンライン学習により,アナログ層の複雑さの増大を回避し,ディジタル層と同じレベルのパフォーマンスが得られることを示す。 結論だ この研究は、出力層をオンライントレーニングすることで、高性能な完全アナログ貯水池コンピュータへの道を開いた。

関連論文リスト

• Deep Photonic Reservoir Computer for Speech Recognition [49.1574468325115]
  音声認識は人工知能の分野で重要な課題であり、目覚ましい進歩を目撃してきた。 深い貯水池コンピューティングはエネルギー効率が高いが、よりリソース集約的な機械学習アルゴリズムと比較して、パフォーマンスに制限がある。 フォトニック方式の深層貯水池コンピュータを提案し,その性能を音声認識タスクで評価する。
  論文  参考訳（メタデータ） (2023-12-11T17:43:58Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• LayerPipe: Accelerating Deep Neural Network Training by Intra-Layer and Inter-Layer Gradient Pipelining and Multiprocessor Scheduling [6.549125450209931]
  バックプロパゲーションによるモデルパラメータのトレーニングは、本質的にフィードバックループを生成する。 提案システムはLayerPipeと呼ばれ、トレーニングに必要なクロックサイクルの数を削減している。
  論文  参考訳（メタデータ） (2021-08-14T23:51:00Z)
• On the Utility of Gradient Compression in Distributed Training Systems [9.017890174185872]
  本稿では,勾配圧縮法の有効性を評価し,そのスケーラビリティを同期データ並列sgdの最適化実装と比較する。 意外なことに、勾配圧縮によって引き起こされる計算オーバーヘッドのため、バニラデータ並列トレーニングのネットスピードアップは、負でなくても限界である。
  論文  参考訳（メタデータ） (2021-02-28T15:58:45Z)
• Random pattern and frequency generation using a photonic reservoir computer with output feedback [3.0395687958102937]
  貯留層コンピューティング(Reservoir computing)は、時間依存信号を処理するためのバイオインスパイアされたコンピューティングパラダイムである。 出力フィードバックを持つ最初の光電子貯水池コンピュータを実演し、時系列生成タスクの2つの例でテストする。
  論文  参考訳（メタデータ） (2020-12-19T07:26:32Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。