論文の概要: Energy-Efficient Deep Reinforcement Learning with Spiking Transformers

• arxiv url: http://arxiv.org/abs/2505.14533v1
• Date: Tue, 20 May 2025 15:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.547184
• Title: Energy-Efficient Deep Reinforcement Learning with Spiking Transformers
• Title（参考訳）: スパイキング変換器を用いたエネルギー効率の良い深部強化学習
• Authors: Mohammad Irfan Uddin, Nishad Tasnim, Md Omor Faruk, Zejian Zhou,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、機械学習にエネルギー効率の良い代替手段を提供する。 新しいSpike-Transformer Reinforcement Learning (STRL)アルゴリズムは、SNNのエネルギー効率と強化学習の強力な意思決定能力を組み合わせる。 SNN Transformerは従来のエージェントベースのTransformerに比べて大幅に改善されたポリシー性能を実現する。
• 参考スコア（独自算出の注目度）: 3.037387520023979
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Agent-based Transformers have been widely adopted in recent reinforcement learning advances due to their demonstrated ability to solve complex tasks. However, the high computational complexity of Transformers often results in significant energy consumption, limiting their deployment in real-world autonomous systems. Spiking neural networks (SNNs), with their biologically inspired structure, offer an energy-efficient alternative for machine learning. In this paper, a novel Spike-Transformer Reinforcement Learning (STRL) algorithm that combines the energy efficiency of SNNs with the powerful decision-making capabilities of reinforcement learning is developed. Specifically, an SNN using multi-step Leaky Integrate-and-Fire (LIF) neurons and attention mechanisms capable of processing spatio-temporal patterns over multiple time steps is designed. The architecture is further enhanced with state, action, and reward encodings to create a Transformer-like structure optimized for reinforcement learning tasks. Comprehensive numerical experiments conducted on state-of-the-art benchmarks demonstrate that the proposed SNN Transformer achieves significantly improved policy performance compared to conventional agent-based Transformers. With both enhanced energy efficiency and policy optimality, this work highlights a promising direction for deploying bio-inspired, low-cost machine learning models in complex real-world decision-making scenarios.
• Abstract（参考訳）: エージェントベースのトランスフォーマーは、複雑なタスクを解く能力を示すため、近年の強化学習の進歩で広く採用されている。 しかし、トランスフォーマーの計算複雑性が高いため、しばしばエネルギー消費が大きくなり、現実の自律システムへの展開が制限される。 生物学的にインスパイアされた構造を持つスパイクニューラルネットワーク(SNN)は、機械学習のエネルギー効率の良い代替手段を提供する。 本稿では,SNNのエネルギー効率と強化学習の強力な意思決定能力を組み合わせた新しいSpike-Transformer Reinforcement Learning (STRL)アルゴリズムを開発した。 具体的には、マルチステップLeaky Integrate-and-Fire(LIF)ニューロンを用いたSNNと、複数の時間ステップで時空間パターンを処理可能なアテンション機構を設計する。 アーキテクチャはさらに、状態、アクション、報酬エンコーディングによって強化学習タスクに最適化されたTransformerのような構造を生成するように拡張されている。 提案したSNN変換器は,従来のエージェントベース変換器と比較して,政策性能が大幅に向上したことを示す。 エネルギー効率の向上とポリシーの最適性の両方によって、この研究は、複雑な現実世界の意思決定シナリオにバイオインスパイアされた低コストの機械学習モデルをデプロイするための、有望な方向性を強調している。

関連論文リスト

• Physics-inspired Energy Transition Neural Network for Sequence Learning [14.111325019623596]
  本研究では、純粋なRNNの能力について検討し、その長期学習メカニズムを再評価する。 時間とともにエネルギーの変化を追跡する物理エネルギー遷移モデルにインスパイアされた我々は、Physics-inspired Energy transition Neural Network (PETNN)と呼ばれる効果的なリカレント構造を提案する。 本研究では,現在Transformerが支配しているフィールドにおいて,効率的なリカレントニューラルネットワーク開発の可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-06T08:07:15Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks [44.145870290310356]
  近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。 トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
  論文  参考訳（メタデータ） (2024-12-18T07:07:38Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• The Potential of Combined Learning Strategies to Enhance Energy Efficiency of Spiking Neuromorphic Systems [0.0]
  この原稿は、畳み込みスパイキングニューラルネットワーク(CSNN)のための新しい複合学習アプローチを通じて、脳にインスパイアされた知覚コンピュータマシンの強化に焦点を当てている。 CSNNは、人間の脳にインスパイアされたエネルギー効率の良いスパイクニューロン処理を提供する、バックプロパゲーションのような従来のパワー集約的で複雑な機械学習手法に代わる、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-13T18:40:50Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Stabilizing Voltage in Power Distribution Networks via Multi-Agent Reinforcement Learning with Transformer [128.19212716007794]
  本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。 さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-06-08T07:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。