論文の概要: MTSpark: Enabling Multi-Task Learning with Spiking Neural Networks for Generalist Agents

• arxiv url: http://arxiv.org/abs/2412.04847v1
• Date: Fri, 06 Dec 2024 08:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:58:05.667105
• Title: MTSpark: Enabling Multi-Task Learning with Spiking Neural Networks for Generalist Agents
• Title（参考訳）: MTSpark:汎用エージェントのためのスパイクニューラルネットワークによるマルチタスク学習の実現
• Authors: Avaneesh Devkota, Rachmad Vidya Wicaksana Putra, Muhammad Shafique,
• Abstract要約: 本稿では,スパイクネットワークを用いたマルチタスクRLを実現する新しい手法MTSparkを提案する。 具体的には、タスク固有のコンテキスト信号を活用することで、アクティブなデンドライトとデュエル構造を備えたディープスパイキングQ-ネットワーク(DSQN)を開発する。 実験の結果,MTSparkは最先端のタスクよりも高いパフォーマンスで複数のタスクを効果的に学習できることがわかった。
• 参考スコア（独自算出の注目度）: 5.343921650701002
• License:
• Abstract: Currently, state-of-the-art RL methods excel in single-task settings, but they still struggle to generalize across multiple tasks due to catastrophic forgetting challenges, where previously learned tasks are forgotten as new tasks are introduced. This multi-task learning capability is significantly important for generalist agents, where adaptation features are highly required (e.g., autonomous robots). On the other hand, Spiking Neural Networks (SNNs) have emerged as alternative energy-efficient neural network algorithms due to their sparse spike-based operations. Toward this, we propose MTSpark, a novel methodology to enable multi-task RL using spiking networks. Specifically, MTSpark develops a Deep Spiking Q-Network (DSQN) with active dendrites and dueling structure by leveraging task-specific context signals. Specifically, each neuron computes task-dependent activations that dynamically modulate inputs, forming specialized sub-networks for each task. Moreover, this bioplausible network model also benefits from SNNs, enhancing energy efficiency and making the model suitable for hardware implementation. Experimental results show that, our MTSpark effectively learns multiple tasks with higher performance compared to the state-of-the-art. Specifically, MTSpark successfully achieves high score in three Atari games (i.e., Pong: -5.4, Breakout: 0.6, and Enduro: 371.2), reaching human-level performance (i.e., Pong: -3, Breakout: 31, and Enduro: 368), where state-of-the-art struggle to achieve. In addition, our MTSpark also shows better accuracy in image classification tasks than the state-of-the-art. These results highlight the potential of our MTSpark methodology to develop generalist agents that can learn multiple tasks by leveraging both RL and SNN concepts.
• Abstract（参考訳）: 現在、最先端のRLメソッドはシングルタスク設定で優れているが、これまで学習されたタスクが新しいタスクを導入して忘れられていた破滅的な忘れ難い課題のために、複数のタスクをまたいだ一般化に苦慮している。 このマルチタスク学習能力は、適応機能を必要とする汎用エージェント(例えば自律ロボット)にとって極めて重要である。 一方、スパイキングニューラルネットワーク(SNN)は、スパーススパイクベースの操作のため、代替エネルギー効率の高いニューラルネットワークアルゴリズムとして登場した。 そこで本研究では,スパイクネットワークを用いたマルチタスクRLを実現する新しい手法MTSparkを提案する。 具体的には、タスク固有のコンテキスト信号を活用することで、アクティブなデンドライトとデュエル構造を備えたディープスパイキングQ-ネットワーク(DSQN)を開発する。 具体的には、各ニューロンは、動的に入力を変調するタスク依存のアクティベーションを計算し、タスクごとに特別なサブネットワークを形成する。 さらに、この生物工学的なネットワークモデルは、SNNの恩恵を受け、エネルギー効率を向上し、ハードウェア実装に適したモデルを作る。 実験の結果,MTSparkは最先端のタスクよりも高いパフォーマンスで複数のタスクを効果的に学習できることがわかった。 具体的には、MTSparkは3つのアタリゲーム(Pong: -5.4、Breakout: 0.6、Enduro: 371.2)でハイスコアを達成し、人間レベルのパフォーマンス(Pong: -3、Breakout: 31、Enduro: 368)を達成した。 さらに、MTSparkは、最先端技術よりも画像分類タスクの精度も向上している。 これらの結果は,RLとSNNの両概念を活用することで,複数のタスクを学習できる汎用エージェントを開発するためのMTSpark手法の可能性を強調した。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks [0.0]
  マルチタスクスパイクニューラルネットワーク(MT-SNN)を実装し、同時に2つ以上の分類タスクを学習し、同時に1つのタスクを実行する。 このネットワークは、Loihi2ニューロモルフィックチップ用のIntelのLavaプラットフォームを使って実装されている。
  論文  参考訳（メタデータ） (2022-08-02T15:17:07Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control [0.0]
  深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:20:45Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Continuous Learning in a Single-Incremental-Task Scenario with Spike Features [0.0]
  ディープニューラルネットワーク(DNN)には、高精度コンピューティングへの依存と、シーケンシャルラーニングの実行能力の欠如という、2つの重要な欠陥がある。 ここでは,ネットワークの特徴抽出層にバイオインスパイアされたスパイクタイミング依存塑性(STDP)を用いて,意味のある特徴を抽出する。 ネットワークの分類セクションでは、私たちはシナプス単位のコストを正則化器として参照する修正シナプスインテリジェンスを使用し、破滅的な忘れ込みに対してネットワークを免疫する。
  論文  参考訳（メタデータ） (2020-05-03T16:18:20Z)
• Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network [4.121467410954028]
  深層マルチタスク学習のための拡張機能を学習するための階層型グラフニューラルネットワークを提案する。 実世界のデータステスの実験では、この戦略を使用する際の大幅なパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2020-02-12T06:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。