論文の概要: Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity

• arxiv url: http://arxiv.org/abs/2306.11950v2
• Date: Tue, 08 Apr 2025 00:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:27:33.438119
• Title: Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity
• Title（参考訳）: ニューラルネットワークにおける通信コストの軽減:樹状非線形性の役割
• Authors: Xundong Wu, Pengfei Zhao, Zilin Yu, Lei Ma, Ka-Wa Yip, Huajin Tang, Gang Pan, Poirazi Panayiota, Tiejun Huang,
• Abstract要約: ニューラルネットワークにおける非線形デンドライトの役割を系統的に検討した。 その結果,樹状非線形性は学習能力に大きく影響しないことがわかった。
• 参考スコア（独自算出の注目度）: 35.72234013150917
• License:
• Abstract: Our understanding of biological neuronal networks has profoundly influenced the development of artificial neural networks (ANNs). However, neurons utilized in ANNs differ considerably from their biological counterparts, primarily due to the absence of complex dendritic trees with local nonlinearities. Early studies have suggested that dendritic nonlinearities could substantially improve the learning capabilities of neural network models. In this study, we systematically examined the role of nonlinear dendrites within neural networks. Utilizing machine-learning methodologies, we assessed how dendritic nonlinearities influence neural network performance. Our findings demonstrate that dendritic nonlinearities do not substantially affect learning capacity; rather, their primary benefit lies in enabling network capacity expansion while minimizing communication costs through effective localized feature aggregation. This research provides critical insights with significant implications for designing future neural network accelerators aimed at reducing communication overhead during neural network training and inference.
• Abstract（参考訳）: 生体神経ネットワークに対する我々の理解は、人工知能ニューラルネットワーク(ANN)の発展に大きな影響を与えている。 しかし、ANNで利用されるニューロンは、主に局所的な非線形性を持つ複雑な樹状樹が存在しないため、生物学的に異なる。 初期の研究では、樹状非線形性はニューラルネットワークモデルの学習能力を大幅に改善する可能性が示唆されている。 本研究では,ニューラルネットワークにおける非線形デンドライトの役割を系統的に検討した。 ニューラルネットワークの性能に及ぼす樹状非線形性の影響を,機械学習手法を用いて評価した。 その結果, 樹状非線形性は学習能力に大きな影響を与えず, その主な利点は, 効果的な局所的特徴集約による通信コストを最小化しつつ, ネットワーク容量の拡大を可能にすることである。 この研究は、ニューラルネットワークのトレーニングと推論の際の通信オーバーヘッドを低減することを目的とした、将来のニューラルネットワークアクセラレータの設計に重要な意味を持つ重要な洞察を提供する。

関連論文リスト

• Adapting the Biological SSVEP Response to Artificial Neural Networks [5.4712259563296755]
  本稿では,神経科学の手法である周波数タギングに触発されたニューロン重要度評価に対する新しいアプローチを提案する。 画像分類のための畳み込みニューラルネットワークを用いて行った実験では、パートベースの周波数タギングの下でのニューロン特異的応答における顕著な調和と相互変調が明らかにされた。 提案手法は,ネットワークプルーニングやモデル解釈可能性などの応用を約束し,説明可能な人工知能の進歩に寄与する。
  論文  参考訳（メタデータ） (2024-11-15T10:02:48Z)
• Exploring Structural Nonlinearity in Binary Polariton-Based Neuromorphic Architectures [0.0]
  ネットワークのレイアウトから導かれる構造的非線形性は,複雑な計算作業を円滑に行う上で重要な役割を担っていることを示す。 この個々のニューロン特性からネットワークアーキテクチャへのシフトは、ニューロモルフィックコンピューティングの効率性と適用性に大きな進歩をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-11-09T09:29:46Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations [0.3441021278275805]
  学習課題を遂行するネットワーク内の単一ニューロンとニューロン群の役割について、光を当てた。 ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、スタンドアローンの指標として十分ではないことが分かりました。
  論文  参考訳（メタデータ） (2020-04-02T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。