論文の概要: Neuronal Group Communication for Efficient Neural representation

• arxiv url: http://arxiv.org/abs/2510.16851v1
• Date: Sun, 19 Oct 2025 14:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.179036
• Title: Neuronal Group Communication for Efficient Neural representation
• Title（参考訳）: 効率的な神経表現のための神経グループコミュニケーション
• Authors: Zhengqi Pei, Qingming Huang, Shuhui Wang,
• Abstract要約: 本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
• 参考スコア（独自算出の注目度）: 85.36421257648294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-increasing scale of modern neural networks has brought unprecedented performance alongside daunting challenges in efficiency and interpretability. This paper addresses the core question of how to build large neural systems that learn efficient, modular, and interpretable representations. We propose Neuronal Group Communication (NGC), a theory-driven framework that reimagines a neural network as a dynamical system of interacting neuronal groups rather than a monolithic collection of neural weights. Instead of treating each weight as an independent trainable parameter, NGC treats weights as transient interactions between embedding-like neuronal states, with neural computation unfolding through iterative communication among groups of neurons. This low-rank, modular representation yields compact models: groups of neurons exchange low-dimensional signals, enabling intra-group specialization and inter-group information sharing while dramatically reducing redundant parameters. By drawing on dynamical systems theory, we introduce a neuronal stability metric (analogous to Lyapunov stability) that quantifies the contraction of neuron activations toward stable patterns during sequence processing. Using this metric, we reveal that emergent reasoning capabilities correspond to an external driving force or ``potential'', which nudges the neural dynamics away from trivial trajectories while preserving stability. Empirically, we instantiate NGC in large language models (LLMs) and demonstrate improved performance on complex reasoning benchmarks under moderate compression. NGC consistently outperforms standard low-rank approximations and cross-layer basis-sharing methods at comparable compression rates. We conclude by discussing the broader implications of NGC, including how structured neuronal group dynamics might relate to generalization in high-dimensional learning systems.
• Abstract（参考訳）: 現代のニューラルネットワークの継続的な拡大は、効率と解釈可能性の急激な課題と並んで、前例のないパフォーマンスをもたらしている。 本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法の核となる問題に対処する。 本稿では、ニューラルネットワークをモノリシックな神経重みの収集ではなく、相互作用する神経群を動的に扱うシステムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 それぞれの重みを独立した訓練可能なパラメータとして扱う代わりに、NGCは重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱う。 ニューロン群は低次元信号を交換し、グループ内特殊化とグループ間情報共有を可能にし、冗長パラメータを劇的に削減する。 力学系理論を基礎として, シークエンス処理中の安定パターンに対するニューロン活性化の収縮を定量化する, 神経安定度指標(リアプノフ安定度と類似)を導入する。 この測定値を用いて、創発的推論能力は、安定性を保ちながら、神経力学を自明な軌跡から遠ざける、外部の駆動力または「ポテンシャル」に対応することを明らかにした。 実験により,大規模言語モデル(LLM)におけるNGCのインスタンス化と,中間圧縮下での複雑な推論ベンチマークの性能向上を実証した。 NGCは、標準の低ランク近似と層間基底共有法を同等の圧縮速度で一貫して上回る。 我々は、高次元学習システムにおける構造化ニューロン群動態と一般化との関連性など、NGCのより広範な意味について論じる。

関連論文リスト

• Self-Supervised Discovery of Neural Circuits in Spatially Patterned Neural Responses with Graph Neural Networks [0.0]
  本研究では,ニューラルネットワークの動作を同時に予測し,遅延接続性を推定するグラフベースのニューラル推論モデルを提案する。 我々のモデルは、補助ノードを介して観測されていないニューロンを許容し、部分的に観察された回路での推論を可能にする。
  論文  参考訳（メタデータ） (2025-09-21T17:46:43Z)
• Learning Internal Biological Neuron Parameters and Complexity-Based Encoding for Improved Spiking Neural Networks Performance [0.0]
  本研究では、従来のパーセプトロンモデルを生物学的に誘発される確率論的メタニューロンモデルに置き換えることで、新しいアプローチを導入する。 第2の鍵となる貢献として、SNNとLe-Ziv可塑性(LZC)を一意に統合する、生物学的にインスパイアされた新しい分類フレームワークを提案する。 本稿では,バックプロパゲーション,スパイク刺激型アスペクト依存型可塑性(STDP),テンポトロン学習規則などの学習アルゴリズムを検討する。
  論文  参考訳（メタデータ） (2025-08-08T09:14:49Z)
• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• NeurFlow: Interpreting Neural Networks through Neuron Groups and Functional Interactions [16.00223741620103]
  本稿では、個々のニューロンの分析からニューロン群の調査へと焦点を移す新しい枠組みを提案する。 自動フレームワークNeurFlowは、まずコアニューロンを特定し、共有機能関係に基づいてグループにクラスタ化する。
  論文  参考訳（メタデータ） (2025-02-22T06:01:03Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。