論文の概要: Rethinking Intelligence: Brain-like Neuron Network
- arxiv url: http://arxiv.org/abs/2601.19508v1
- Date: Tue, 27 Jan 2026 11:52:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 13:40:45.310177
- Title: Rethinking Intelligence: Brain-like Neuron Network
- Title(参考訳): 知性を再考する:脳のようなニューロンネットワーク
- Authors: Weifeng Liu,
- Abstract要約: 本稿では、畳み込みや自己注意なしに動作する脳様ニューラルネットワーク(BNN)の最初のインスタンス化を示す。
我々はLuminaNetが動的アーキテクチャ変更によって自己進化を達成できることを実証する広範な実験を行った。
LuminaNetは、シングルレイヤーのGPT-2スタイルのトランスフォーマーに匹敵する8.4のパープレキシティを実現し、計算コストを約25%削減し、ピークメモリ使用量を約50%削減した。
- 参考スコア(独自算出の注目度): 8.21597661172735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since their inception, artificial neural networks have relied on manually designed architectures and inductive biases to better adapt to data and tasks. With the rise of deep learning and the expansion of parameter spaces, they have begun to exhibit brain-like functional behaviors. Nevertheless, artificial neural networks remain fundamentally different from biological neural systems in structural organization, learning mechanisms, and evolutionary pathways. From the perspective of neuroscience, we rethink the formation and evolution of intelligence and proposes a new neural network paradigm, Brain-like Neural Network (BNN). We further present the first instantiation of a BNN termed LuminaNet that operates without convolutions or self-attention and is capable of autonomously modifying its architecture. We conduct extensive experiments demonstrating that LuminaNet can achieve self-evolution through dynamic architectural changes. On the CIFAR-10, LuminaNet achieves top-1 accuracy improvements of 11.19%, 5.46% over LeNet-5 and AlexNet, respectively, outperforming MLP-Mixer, ResMLP, and DeiT-Tiny among MLP/ViT architectures. On the TinyStories text generation task, LuminaNet attains a perplexity of 8.4, comparable to a single-layer GPT-2-style Transformer, while reducing computational cost by approximately 25% and peak memory usage by nearly 50%. Code and interactive structures are available at https://github.com/aaroncomo/LuminaNet.
- Abstract(参考訳): 人工知能は、その誕生以来、データやタスクに適応するために、手動で設計されたアーキテクチャと誘導バイアスに依存してきた。
深層学習の台頭とパラメータ空間の拡大により、彼らは脳に似た機能的行動を見せ始めた。
それでも、人工ニューラルネットワークは、構造組織、学習メカニズム、進化経路における生物学的ニューラルネットワークと根本的に異なるままである。
神経科学の観点からは、知性の形成と進化を再考し、新しいニューラルネットワークパラダイムであるBrain-like Neural Network (BNN)を提案する。
さらに、畳み込みや自己注意なしに動作し、アーキテクチャを自律的に変更できる、LuminaNetと呼ばれるBNNの最初のインスタンスを提示する。
我々はLuminaNetが動的アーキテクチャ変更によって自己進化を達成できることを実証する広範な実験を行った。
CIFAR-10では、LuminaNetが11.19%、LeNet-5が5.46%で、MLP/ViTアーキテクチャではMLP-Mixer、ResMLP、DeiT-Tinyを上回っている。
TinyStoriesのテキスト生成タスクでは、LuminaNetは1層のGPT-2スタイルのトランスフォーマーに匹敵する8.4のパープレキシティを実現し、計算コストを約25%削減し、ピークメモリ使用量を50%近く削減した。
コードと対話型構造はhttps://github.com/aaroncomo/LuminaNet.comで入手できる。
関連論文リスト
- CogniSNN: Enabling Neuron-Expandability, Pathway-Reusability, and Dynamic-Configurability with Random Graph Architectures in Spiking Neural Networks [13.913208605378854]
スパイキングニューラルネットワーク(SNN)は、人工知能と計算神経科学のギャップを埋めることが期待されている。
我々はランダムグラフアーキテクチャ(RGA)を取り入れた新しいSNNパラダイムであるCognition-aware SNN(Cognition-aware SNN)を導入する。
論文 参考訳(メタデータ) (2025-12-12T17:36:31Z) - Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs [0.0]
G2GNetは、フィードフォワード層にまたがるスパースでモジュラーな接続を強制する新しいアーキテクチャである。
G2GNetの精度は最大75%まで向上し、ベンチマークでは最大4.3%向上した。
論文 参考訳(メタデータ) (2025-08-19T13:51:33Z) - Threshold Neuron: A Brain-inspired Artificial Neuron for Efficient On-device Inference [17.95548501630064]
本稿では,新しい人工ニューロンモデルThreshold Neuronsを提案する。
従来の人工ニューロンと同様のニューラルネットワークを構築しながら,ハードウェア実装の複雑さを大幅に低減する。
本研究では,Threshold Neuronsを用いたニューラルネットワークの有効性を検証し,カーネルレベルでは7.51倍から8.19倍の省電力を実現し,カーネルレベルでは3.89倍から4.33倍の省電力を実現した。
論文 参考訳(メタデータ) (2024-12-18T14:42:43Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-11T06:39:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳(メタデータ) (2021-02-25T02:13:52Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。