論文の概要: Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity

• arxiv url: http://arxiv.org/abs/2306.11950v1
• Date: Wed, 21 Jun 2023 00:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 15:15:28.581436
• Title: Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity
• Title（参考訳）: ニューラルネットワークにおける通信コストの軽減:樹状非線形性の役割
• Authors: Xundong Wu, Pengfei Zhao, Zilin Yu, Lei Ma, Ka-Wa Yip, Huajin Tang, Gang Pan, Tiejun Huang
• Abstract要約: 本研究では,ニューラルネットワークにおける非線形デンドライトの重要性について検討した。 その結果,樹状構造の統合はモデル容量と性能を大幅に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 28.243134476634125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our comprehension of biological neuronal networks has profoundly influenced the evolution of artificial neural networks (ANNs). However, the neurons employed in ANNs exhibit remarkable deviations from their biological analogs, mainly due to the absence of complex dendritic trees encompassing local nonlinearity. Despite such disparities, previous investigations have demonstrated that point neurons can functionally substitute dendritic neurons in executing computational tasks. In this study, we scrutinized the importance of nonlinear dendrites within neural networks. By employing machine-learning methodologies, we assessed the impact of dendritic structure nonlinearity on neural network performance. Our findings reveal that integrating dendritic structures can substantially enhance model capacity and performance while keeping signal communication costs effectively restrained. This investigation offers pivotal insights that hold considerable implications for the development of future neural network accelerators.
• Abstract（参考訳）: 生体神経ネットワークの理解は,ニューラルネットワーク(ANN)の進化に大きく影響している。 しかし、annで使用されるニューロンは、主に局所的な非線形性を含む複雑な樹状樹が存在しないために、生物学的な類似物から著しく逸脱している。 このような相違にもかかわらず、前回の研究では、ポイントニューロンが計算タスクを実行する際に樹状ニューロンを機能的に置換できることが示されている。 本研究では,ニューラルネットワークにおける非線形デンドライトの重要性について検討した。 機械学習手法を用いて,デンドリティック構造の非線形性がニューラルネットワーク性能に与える影響を評価した。 その結果,樹状構造の統合は,信号通信コストを効果的に抑えつつ,モデル容量と性能を大幅に向上させることができることがわかった。 この調査は、将来のニューラルネットワークアクセラレータの開発に重要な意味を持つ重要な洞察を提供する。

関連論文リスト

• Adapting the Biological SSVEP Response to Artificial Neural Networks [5.4712259563296755]
  本稿では,神経科学の手法である周波数タギングに触発されたニューロン重要度評価に対する新しいアプローチを提案する。 画像分類のための畳み込みニューラルネットワークを用いて行った実験では、パートベースの周波数タギングの下でのニューロン特異的応答における顕著な調和と相互変調が明らかにされた。 提案手法は,ネットワークプルーニングやモデル解釈可能性などの応用を約束し,説明可能な人工知能の進歩に寄与する。
  論文  参考訳（メタデータ） (2024-11-15T10:02:48Z)
• Exploring Structural Nonlinearity in Binary Polariton-Based Neuromorphic Architectures [0.0]
  ネットワークのレイアウトから導かれる構造的非線形性は,複雑な計算作業を円滑に行う上で重要な役割を担っていることを示す。 この個々のニューロン特性からネットワークアーキテクチャへのシフトは、ニューロモルフィックコンピューティングの効率性と適用性に大きな進歩をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-11-09T09:29:46Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations [0.3441021278275805]
  学習課題を遂行するネットワーク内の単一ニューロンとニューロン群の役割について、光を当てた。 ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、スタンドアローンの指標として十分ではないことが分かりました。
  論文  参考訳（メタデータ） (2020-04-02T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。