論文の概要: Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs

• arxiv url: http://arxiv.org/abs/2508.14140v1
• Date: Tue, 19 Aug 2025 13:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.224125
• Title: Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs
• Title（参考訳）: スパースと効率的なANNのための神経インスパイアされたアンサンブルとアンサンブルのコミュニケーションプリミティブ
• Authors: Orestis Konstantaropoulos, Stelios Manolis Smirnakis, Maria Papadopouli,
• Abstract要約: G2GNetは、フィードフォワード層にまたがるスパースでモジュラーな接続を強制する新しいアーキテクチャである。 G2GNetの精度は最大75%まで向上し、ベンチマークでは最大4.3%向上した。
• 参考スコア（独自算出の注目度）: 0.2621730497733947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The structure of biological neural circuits-modular, hierarchical, and sparsely interconnected-reflects an efficient trade-off between wiring cost, functional specialization, and robustness. These principles offer valuable insights for artificial neural network (ANN) design, especially as networks grow in depth and scale. Sparsity, in particular, has been widely explored for reducing memory and computation, improving speed, and enhancing generalization. Motivated by systems neuroscience findings, we explore how patterns of functional connectivity in the mouse visual cortex-specifically, ensemble-to-ensemble communication, can inform ANN design. We introduce G2GNet, a novel architecture that imposes sparse, modular connectivity across feedforward layers. Despite having significantly fewer parameters than fully connected models, G2GNet achieves superior accuracy on standard vision benchmarks. To our knowledge, this is the first architecture to incorporate biologically observed functional connectivity patterns as a structural bias in ANN design. We complement this static bias with a dynamic sparse training (DST) mechanism that prunes and regrows edges during training. We also propose a Hebbian-inspired rewiring rule based on activation correlations, drawing on principles of biological plasticity. G2GNet achieves up to 75% sparsity while improving accuracy by up to 4.3% on benchmarks, including Fashion-MNIST, CIFAR-10, and CIFAR-100, outperforming dense baselines with far fewer computations.
• Abstract（参考訳）: 生物学的神経回路の構造は、モジュール状、階層的、疎結合であり、配線コスト、機能的特殊化、堅牢性の間の効率的なトレードオフを反映している。 これらの原則は、特にネットワークの深さと規模が大きくなるにつれて、ANN(Artificial Neural Network)設計のための貴重な洞察を提供する。 特にスポーシティは、メモリと計算の削減、スピードの向上、一般化の強化のために広く研究されている。 システム神経科学の知見により、マウス視覚野における機能的接続パターン、特にアンサンブルとアンサンブルのコミュニケーションが、ANNの設計にどのように影響するかを探索する。 G2GNetは、フィードフォワード層にまたがるスパースでモジュラーな接続を強制する新しいアーキテクチャである。 完全に接続されたモデルよりもパラメータが大幅に少ないにもかかわらず、G2GNetは標準ビジョンベンチマークにおいて優れた精度を達成している。 我々の知る限り、ANN設計における構造バイアスとして生物学的に観察された機能的接続パターンを組み込んだ最初のアーキテクチャである。 この静的バイアスを動的スパーストレーニング(DST)機構で補完する。 また,生物可塑性の原理に基づいて,活性化相関に基づくヘビアン系スイッチング規則を提案する。 G2GNetは、Fashion-MNIST、CIFAR-10、CIFAR-100などベンチマークの精度を最大4.3%向上させ、より少ない計算で高密度なベースラインを達成している。

関連論文リスト

• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• ElegansNet: a brief scientific report and initial experiments [0.0]
  ElegansNetは、現実世界のニューラルネットワーク回路を模倣するニューラルネットワークである。 自然ネットワークに似たトポロジを持つ改良されたディープラーニングシステムを生成する。
  論文  参考訳（メタデータ） (2023-04-06T13:51:04Z)
• GENNAPE: Towards Generalized Neural Architecture Performance Estimators [25.877126553261434]
  GENNAPEは、与えられたニューラルネットワークを、原子操作の計算グラフ(CG)として表現する。 最初に、トポロジ的特徴によるネットワーク分離を促進するために、Contrastive Learningを介してグラフエンコーダを学習する。 実験により、NAS-Bench-101で事前訓練されたGENNAPEは、5つの異なる公開ニューラルネットワークベンチマークに優れた転送性が得られることが示された。
  論文  参考訳（メタデータ） (2022-11-30T18:27:41Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。