論文の概要: An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning

• arxiv url: http://arxiv.org/abs/2005.04646v3
• Date: Tue, 23 Mar 2021 07:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 01:29:13.551127
• Title: An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning
• Title（参考訳）: オンラインシーケンス学習を用いたFPGAによるオンデバイス強化学習手法
• Authors: Hirohisa Watanabe, Mineto Tsukada and Hiroki Matsutani
• Abstract要約: 低コストFPGAデバイスのための軽量デバイス強化学習手法を提案する。 バックプロパゲーションメソッドに依存しないオンデバイスラーニングアプローチに基づく、最近提案されたニューラルネットワークを活用する。 提案手法は低コストFPGAプラットフォームとしてPYNQ-Z1ボード用に設計されている。
• 参考スコア（独自算出の注目度）: 2.99321624683618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DQN (Deep Q-Network) is a method to perform Q-learning for reinforcement learning using deep neural networks. DQNs require a large buffer and batch processing for an experience replay and rely on a backpropagation based iterative optimization, making them difficult to be implemented on resource-limited edge devices. In this paper, we propose a lightweight on-device reinforcement learning approach for low-cost FPGA devices. It exploits a recently proposed neural-network based on-device learning approach that does not rely on the backpropagation method but uses OS-ELM (Online Sequential Extreme Learning Machine) based training algorithm. In addition, we propose a combination of L2 regularization and spectral normalization for the on-device reinforcement learning so that output values of the neural network can be fit into a certain range and the reinforcement learning becomes stable. The proposed reinforcement learning approach is designed for PYNQ-Z1 board as a low-cost FPGA platform. The evaluation results using OpenAI Gym demonstrate that the proposed algorithm and its FPGA implementation complete a CartPole-v0 task 29.77x and 89.40x faster than a conventional DQN-based approach when the number of hidden-layer nodes is 64.
• Abstract（参考訳）: DQN(Deep Q-Network)は、ディープニューラルネットワークを用いた強化学習のためのQラーニングを実行する方法である。 DQNは、経験再生のために大きなバッファとバッチ処理を必要とし、バックプロパゲーションベースの反復最適化に依存しているため、リソース制限されたエッジデバイスに実装するのは困難である。 本稿では,低コストFPGAデバイスのための軽量デバイス強化学習手法を提案する。 バックプロパゲーション手法に頼るのではなく、OS-ELM(Online Sequential Extreme Learning Machine)ベースのトレーニングアルゴリズムを使用している。 さらに,デバイス上での強化学習におけるl2正規化とスペクトル正規化の組み合わせを提案し,ニューラルネットワークの出力値を一定の範囲に適合させ,強化学習を安定させる。 提案手法は低コストFPGAプラットフォームとしてPYNQ-Z1ボード用に設計されている。 openai gymを用いた評価結果から,提案アルゴリズムとそのfpga実装は,隠れ層ノード数64の場合,従来のdqnベースアプローチよりも29.77xおよび89.40倍高速であることが分かった。

関連論文リスト

• Simplifying Deep Temporal Difference Learning [3.458933902627673]
  安定性を維持しつつ,TDトレーニングの高速化と簡易化が可能であるかを検討する。 我々の重要な理論的結果は、LayerNormのような正規化技術が証明可能な収束性TDアルゴリズムが得られることを初めて示している。 これらの結果に触発され,より簡易なオンラインQ-LearningアルゴリズムであるPQNを提案する。
  論文  参考訳（メタデータ） (2024-07-05T18:49:07Z)
• Exploiting FPGA Capabilities for Accelerated Biomedical Computing [0.0]
  本研究では、フィールドプログラマブルゲートアレイ(FPGA)を用いたECG信号解析のための高度なニューラルネットワークアーキテクチャを提案する。 我々は、トレーニングと検証にMIT-BIH Arrhythmia Databaseを使用し、堅牢性を改善するためにガウスノイズを導入した。 この研究は最終的に、様々なアプリケーションのためのFPGA上でのニューラルネットワーク性能を最適化するためのガイドを提供する。
  論文  参考訳（メタデータ） (2023-07-16T01:20:17Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Exploration of Hardware Acceleration Methods for an XNOR Traffic Signs Classifier [0.0]
  本研究では,交通標識分類のためのXNORネットワークの高速化の可能性を検討する。 我々は,約450fpsの推論が可能な,XNORネットワーク用の独自のHDLアクセラレータを提案する。 さらに優れた結果は、Xilinx FINNアクセラレータの2番目の方法で得られ、550フレームレートで入力画像を処理することができます。
  論文  参考訳（メタデータ） (2021-04-06T06:01:57Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• An FPGA Accelerated Method for Training Feed-forward Neural Networks Using Alternating Direction Method of Multipliers and LSMR [2.8747398859585376]
  ニューラルネットワークトレーニングのための新しいFPGAアクセラレーションアルゴリズムの設計、実装、デプロイ、テストに成功した。 本手法は,並列特性が強い乗算器アルゴリズムの交互方向法に基づく。 我々は,Intel FPGA SDK for OpenCLを用いたFPGAアクセラレーションバージョンを開発し,その後,Intel Arria 10 GX FPGA上でプログラムのデプロイに成功した。
  論文  参考訳（メタデータ） (2020-09-06T17:33:03Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。