論文の概要: Robust Computation with Intrinsic Heterogeneity

• arxiv url: http://arxiv.org/abs/2412.05126v1
• Date: Fri, 06 Dec 2024 15:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:50.193822
• Title: Robust Computation with Intrinsic Heterogeneity
• Title（参考訳）: 固有不均一性を考慮したロバスト計算
• Authors: Arash Golmohammadi, Christian Tetzlaff,
• Abstract要約: 内在型神経内不均一性は生物学的システムのユビキタスな特徴であり、よく文書化された計算上の利点がある。 機械学習における最近の研究は、シナプス接続と並んで神経パラメータを最適化することで、そのような多様性を取り入れている。 この性能向上は、より大きなパラメータ空間によって課される計算コストが著しく高いコストで実現される。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Intrinsic within-type neuronal heterogeneity is a ubiquitous feature of biological systems, with well-documented computational advantages. Recent works in machine learning have incorporated such diversities by optimizing neuronal parameters alongside synaptic connections and demonstrated state-of-the-art performance across common benchmarks. However, this performance gain comes at the cost of significantly higher computational costs, imposed by a larger parameter space. Furthermore, it is unclear how the neuronal parameters, constrained by the biophysics of their surroundings, are globally orchestrated to minimize top-down errors. To address these challenges, we postulate that neurons are intrinsically diverse, and investigate the computational capabilities of such heterogeneous neuronal parameters. Our results show that intrinsic heterogeneity, viewed as a fixed quenched disorder, often substantially improves performance across hundreds of temporal tasks. Notably, smaller but heterogeneous networks outperform larger homogeneous networks, despite consuming less data. We elucidate the underlying mechanisms driving this performance boost and illustrate its applicability to both rate and spiking dynamics. Moreover, our findings demonstrate that heterogeneous networks are highly resilient to severe alterations in their recurrent synaptic hyperparameters, and even recurrent connections removal does not compromise performance. The remarkable effectiveness of heterogeneous networks with small sizes and relaxed connectivity is particularly relevant for the neuromorphic community, which faces challenges due to device-to-device variability. Furthermore, understanding the mechanism of robust computation with heterogeneity also benefits neuroscientists and machine learners.
• Abstract（参考訳）: 内在型神経内不均一性は生物学的システムのユビキタスな特徴であり、よく文書化された計算上の利点がある。 機械学習における最近の研究は、シナプス接続と並んで神経パラメータを最適化し、一般的なベンチマークで最先端のパフォーマンスを実証することで、そのような多様性を取り入れている。 しかし、この性能向上は、より大きなパラメータ空間によって課される計算コストが大幅に高くなるために生じる。 さらに、周囲の生物物理学によって制約される神経パラメータが、トップダウンエラーを最小限に抑えるために、世界規模で編成されているかは不明である。 これらの課題に対処するために、ニューロンは本質的に多様性があることを仮定し、そのような異種神経パラメータの計算能力について検討する。 以上の結果から,本態性不均一性は固定クエンチ障害と見なされ,数百の時間的タスクにおけるパフォーマンスが著しく向上することが示唆された。 特に、より小さいが不均一なネットワークは、データが少ないにもかかわらず、より大きな均一なネットワークよりも優れている。 この性能向上の基盤となるメカニズムを解明し、速度とスパイクダイナミクスの両方に適用可能であることを示す。 さらに, 重質ネットワークは, 繰り返しシナプスの過度な変化に対して高い耐性を示し, 繰り返し接続除去でさえ性能を損なうことはないことを示した。 小型でゆるやかな接続性を持つ異種ネットワークの顕著な効果は、デバイス・デバイス間のばらつきによる課題に直面しているニューロモルフィック・コミュニティに特に関係している。 さらに、不均一性による堅牢な計算のメカニズムを理解することは、神経科学者や機械学習者にも利益をもたらす。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Population Geometry Reveals the Role of Stochasticity in Robust Perception [16.60105791126744]
  本稿では,視覚神経ネットワークの内部表現に逆方向の摂動がどのような影響を及ぼすかを検討する。 ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。 我々の結果は、堅牢な知覚ネットワークの戦略に光を当て、幾何学性が機械や生物学的計算にどのように役立つかを説明するのに役立ちました。
  論文  参考訳（メタデータ） (2021-11-12T22:59:45Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Evaluating complexity and resilience trade-offs in emerging memory inference machines [0.6970352368216021]
  深層ニューラルネットワークのコンパクトな実装は、予期せず、複数のシステム障害から崩壊するおそれがあることが示される。 我々の研究は、モザイクフレームワークを利用した高性能で強力なレジリエンスへの中間経路を提案する。
  論文  参考訳（メタデータ） (2020-02-25T21:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。