論文の概要: Context-sensitive neocortical neurons transform the effectiveness and
efficiency of neural information processing
- arxiv url: http://arxiv.org/abs/2207.07338v6
- Date: Tue, 4 Apr 2023 10:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 19:04:31.848631
- Title: Context-sensitive neocortical neurons transform the effectiveness and
efficiency of neural information processing
- Title（参考訳）: 文脈感応性新皮質ニューロンは神経情報処理の有効性と効率を変換する
- Authors: Ahsan Adeel, Mario Franco, Mohsin Raza, Khubaib Ahmed
- Abstract要約: ディープラーニング(DL)は、多くの現実世界のドメインの人間に匹敵する、あるいはそれ以上に優れたビッグデータ処理能力を持つ。
しかし、いくつかのアプリケーションでは持続不可能な高エネルギー要求とエラーのコストでは、しばしば発生するが、大きなものになり得る。
本研究は, 文脈に敏感な新皮質ニューロンの機能を模倣することにより, これらの制限を回避する方法を示す。
- 参考スコア（独自算出の注目度）: 0.783788180051711
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning (DL) has big-data processing capabilities that are as good, or
even better, than those of humans in many real-world domains, but at the cost
of high energy requirements that may be unsustainable in some applications and
of errors, that, though infrequent, can be large. We hypothesise that a
fundamental weakness of DL lies in its intrinsic dependence on
integrate-and-fire point neurons that maximise information transmission
irrespective of whether it is relevant in the current context or not. This
leads to unnecessary neural firing and to the feedforward transmission of
conflicting messages, which makes learning difficult and processing energy
inefficient. Here we show how to circumvent these limitations by mimicking the
capabilities of context-sensitive neocortical neurons that receive input from
diverse sources as a context to amplify and attenuate the transmission of
relevant and irrelevant information, respectively. We demonstrate that a deep
network composed of such local processors seeks to maximise agreement between
the active neurons, thus restricting the transmission of conflicting
information to higher levels and reducing the neural activity required to
process large amounts of heterogeneous real-world data. As shown to be far more
effective and efficient than current forms of DL, this two-point neuron study
offers a possible step-change in transforming the cellular foundations of deep
network architectures.
- Abstract（参考訳）: ディープラーニング(DL)は、多くの現実世界のドメインの人間に匹敵する、あるいはそれ以上に優れたビッグデータ処理能力を持つが、いくつかのアプリケーションやエラーでは持続不可能な高エネルギー要求のコストがかかるため、多くの場合、大きなものになり得る。
dlの根本的な弱点は、現在の文脈に関係があるかどうかに関わらず、情報伝達を最大化する統合・ファイアポイントニューロンに固有の依存関係にあると仮定する。
これにより、不要な神経発火と競合するメッセージのフィードフォワード送信につながるため、学習が困難になり、エネルギー効率が低下する。
本稿では,これらの制約を回避するために,様々なソースからの入力を受信する,文脈に敏感な新皮質ニューロンの機能を模倣して,関連情報の伝達を増幅し,減衰させる方法を示す。
このような局所的プロセッサからなる深層ネットワークは、活動ニューロン間の合意を最大化することを目指しており、矛盾する情報の上位レベルへの伝達を制限し、大量の異種実世界データを処理するのに必要な神経活動を低減する。
現在のDLよりも効率的で効率的であることが示されているように、この2点ニューロン研究はディープネットワークアーキテクチャの細胞基盤を変換する段階的な変化をもたらす可能性がある。
関連論文リスト
- A frugal Spiking Neural Network for unsupervised classification of continuous multivariate temporal data [0.0]
スパイキングニューラルネットワーク(SNN)は神経型であり、進化する膜電位を持つより生物学的に可塑性なニューロンを使用する。
本稿では,連続データにおける多変量時間パターンの完全教師なし識別と分類のために設計されたFragal Single-layer SNNを紹介する。
論文 参考訳（メタデータ） (2024-08-08T08:15:51Z) - Neuromorphic Event-Driven Semantic Communication in Microgrids [5.817656520396958]
本稿では,各ノードにスパイキングニューラルネットワーク(SNN)を用いて通信機能を埋め込むニューロモルフィック学習を提案する。
スパイキング信号で作動する従来のニューロモルフィックセンサとは対照的に、イベント駆動選択的プロセスを用いてスパースデータを収集し、SNNの訓練を行う。
論文 参考訳（メタデータ） (2024-02-28T15:11:02Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳（メタデータ） (2022-11-14T21:34:02Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Learning in Feedforward Neural Networks Accelerated by Transfer Entropy [0.0]
転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。
提案手法は,フィードフォワードニューラルネットワークのノード間の情報伝達を解析するための情報理論的手法である。
本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-29T19:07:07Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Information contraction in noisy binary neural networks and its
implications [11.742803725197506]
我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。
私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。
本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
論文 参考訳（メタデータ） (2021-01-28T00:01:45Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。