論文の概要: Prospective Messaging: Learning in Networks with Communication Delays

• arxiv url: http://arxiv.org/abs/2407.05494v2
• Date: Tue, 9 Jul 2024 01:20:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 11:26:26.772490
• Title: Prospective Messaging: Learning in Networks with Communication Delays
• Title（参考訳）: 予測メッセージング: 通信遅延のあるネットワークでの学習
• Authors: Ryan Fayyazi, Christian Weilbach, Frank Wood,
• Abstract要約: 物理的に実現されたニューラルネットワークでは、ニューロン間通信遅延がユビキタスである。 遅延は、最先端の継続的ニューラルネットワークが単純なタスクを学習するのを妨げていることを示す。 そこで我々は,現在利用可能な信号に基づいて通信遅延を予測し,通信遅延を補償することを提案する。
• 参考スコア（独自算出の注目度）: 12.63723517446906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inter-neuron communication delays are ubiquitous in physically realized neural networks such as biological neural circuits and neuromorphic hardware. These delays have significant and often disruptive consequences on network dynamics during training and inference. It is therefore essential that communication delays be accounted for, both in computational models of biological neural networks and in large-scale neuromorphic systems. Nonetheless, communication delays have yet to be comprehensively addressed in either domain. In this paper, we first show that delays prevent state-of-the-art continuous-time neural networks called Latent Equilibrium (LE) networks from learning even simple tasks despite significant overparameterization. We then propose to compensate for communication delays by predicting future signals based on currently available ones. This conceptually straightforward approach, which we call prospective messaging (PM), uses only neuron-local information, and is flexible in terms of memory and computation requirements. We demonstrate that incorporating PM into delayed LE networks prevents reaction lags, and facilitates successful learning on Fourier synthesis and autoregressive video prediction tasks.
• Abstract（参考訳）: ニューロン間通信遅延は、生物学的神経回路やニューロモルフィックハードウェアのような物理的に実現されたニューラルネットワークにおいてユビキタスである。 これらの遅延は、トレーニングや推論中にネットワークダイナミクスに顕著で、しばしば破壊的な結果をもたらす。 したがって、生物学的ニューラルネットワークの計算モデルと大規模ニューロモルフィックシステムの両方において、通信遅延を考慮することが不可欠である。 それでも、いずれのドメインにおいても、通信遅延は包括的に対処されていない。 本稿では,遅延により,過パラメータ化が著しいにもかかわらず,Latent Equilibrium(LE)ネットワークと呼ばれる最先端の連続時間ニューラルネットワークが単純なタスクを学習することを防ぐことを最初に示した。 そこで我々は,現在利用可能な信号に基づいて通信遅延を予測し,通信遅延を補償することを提案する。 この概念的に直感的なアプローチは、予測メッセージング(PM)と呼ばれ、ニューロンローカル情報のみを使用し、メモリと計算要求の観点から柔軟である。 遅延LEネットワークにPMを組み込むことは反応遅延を防止し、フーリエ合成および自己回帰ビデオ予測タスクの学習を成功させることを示す。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Expanding memory in recurrent spiking networks [2.8237889121096034]
  リカレントスパイキングニューラルネットワーク(RSNN)は、スパイクのバイナリの性質によって強化される、消失する勾配問題のために訓練が難しいことで知られている。 我々はこれらの制限を回避する新しいスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:26Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation [39.245842636392865]
  本研究は, 直接的リカレント接続と比較して, ニューロンを介した再カレント通信を媒介する利点について検討する。 この結果から,入力統計の変化に迅速に適応する上で,介在ニューロンが有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-21T20:03:58Z)
• Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic Communication [85.06664206117088]
  6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。 観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。 GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
  論文  参考訳（メタデータ） (2022-05-22T07:11:57Z)
• Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
  近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。 スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。 本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:56:42Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal Encoding trained with STDP [10.982390333064536]
  哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。 ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。 情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
  論文  参考訳（メタデータ） (2020-09-01T17:12:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
  ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
  論文  参考訳（メタデータ） (2020-02-18T05:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。