論文の概要: Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2006.02642v2
• Date: Fri, 23 Oct 2020 00:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 09:07:22.334192
• Title: Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおけるアクティベーションとタイミングに基づく学習ルールの統合
• Authors: Jinseok Kim, Kyungsu Kim, Jae-Joon Kim
• Abstract要約: スパイキングニューラルネットワーク(SNN)トレーニングにおいて、時間領域にわたる勾配計算について、2つの異なるアプローチが独立に研究されている。 本稿では,2つの手法の比較研究を行い,それらを組み合わせた新しい教師あり学習法を提案する。 提案手法は、スパイクタイミングのシフトとスパイクの発生・除去により、各スパイクをより効果的に活用する。
• 参考スコア（独自算出の注目度）: 14.495449748829301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the gradient computation across the time domain in Spiking Neural Networks (SNNs) training, two different approaches have been independently studied. The first is to compute the gradients with respect to the change in spike activation (activation-based methods), and the second is to compute the gradients with respect to the change in spike timing (timing-based methods). In this work, we present a comparative study of the two methods and propose a new supervised learning method that combines them. The proposed method utilizes each individual spike more effectively by shifting spike timings as in the timing-based methods as well as generating and removing spikes as in the activation-based methods. Experimental results showed that the proposed method achieves higher performance in terms of both accuracy and efficiency than the previous approaches.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)トレーニングにおける時間領域の勾配計算については、2つの異なるアプローチが独立に研究されている。 1つはスパイクアクティベーションの変化(アクティベーションに基づく方法)の勾配を計算し、もう1つはスパイクタイミングの変化(タイピングに基づく方法)の勾配を計算することである。 本研究では,2つの手法の比較研究を行い,それらを組み合わせた新しい教師あり学習法を提案する。 提案手法は,スパイクのタイミングをタイミングベース方式のようにシフトさせ,スパイクの生成と除去をアクティベーションベース方式のように行うことにより,個々のスパイクをより効果的に活用する。 実験の結果,提案手法は従来の手法よりも精度と効率の両面で高い性能を達成できることがわかった。

関連論文リスト

• Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes [40.68266398473983]
  本研究では,任意の深さのReLULUネットワークに対して,斬新な切削平面法による能動的学習手法について検討する。 非線形収束にもかかわらず、これらのアルゴリズムはディープニューラルネットワークに拡張可能であることを実証する。 提案手法は,データ実験と実データセットの分類の両方を通じて,一般的な深層学習ベースラインに対する有効性を示す。
  論文  参考訳（メタデータ） (2024-10-03T02:11:35Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Unsupervised feature selection via self-paced learning and low-redundant regularization [6.083524716031565]
  自己評価学習とサブスペース学習の枠組みを統合することにより,教師なしの特徴選択を提案する。 この手法の収束性は理論的および実験的に証明される。 実験の結果,提案手法はクラスタリング法の性能を向上し,他の比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T08:28:19Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)
• Identification of Nonlinear Dynamic Systems Using Type-2 Fuzzy Neural Networks -- A Novel Learning Algorithm and a Comparative Study [12.77304082363491]
  スライディングモード理論に基づく学習アルゴリズムは、タイプ2ファジィニューラルネットワークの前提部分と結果部分の両方を調整するために提案されている。 提案アルゴリズムの安定性は、適切なリアプノフ関数を用いて証明されている。 いくつかの比較結果が得られ、提案アルゴリズムは既存の手法よりも高速な収束速度を持つことを示した。
  論文  参考訳（メタデータ） (2021-04-04T23:44:59Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。