論文の概要: Automated Architecture Synthesis for Arbitrarily Structured Neural Networks
- arxiv url: http://arxiv.org/abs/2306.02157v4
- Date: Wed, 04 Jun 2025 03:48:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:13.758496
- Title: Automated Architecture Synthesis for Arbitrarily Structured Neural Networks
- Title（参考訳）: 任意構造ニューラルネットワークのための自動アーキテクチャ合成
- Authors: Xinshun Liu, Yizhi Fang, Yichao Jiang,
- Abstract要約: 学習中に任意のグラフ構造を構築することを学習する新しいフレームワークを提案する。
我々のフレームワークは完全なグラフから学習し、生物学的ニューラルネットワークに似たニューロン間の自由なコミュニケーションを可能にします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper offers a new perspective on Artificial Neural Networks (ANNs) architecture. Traditional ANNs commonly use tree-like or DAG structures for simplicity, which can be preset or determined by Neural Architecture Search (NAS). Yet, these structures restrict network collaboration and capability due to the absence of horizontal and backward communication. Biological neural systems, however, feature billions of neural units with highly complex connections, allowing each biological neuron to connect with others based on specific situations. Inspired by biological systems, we propose a novel framework that learns to construct arbitrary graph structures during training and introduce the concept of Neural Modules for organizing neural units, which facilitates communication between any nodes and collaboration among modules. Unlike traditional NAS methods that rely on DAG search spaces, our framework learns from complete graphs, enabling free communication between neurons akin to biological neural networks. Furthermore, we present a method to compute these structures and a regularization technique that organizes them into multiple independent, balanced neural modules. This approach reduces overfitting and improves efficiency through parallel computing. Overall, our method allows ANNs to learn effective arbitrary structures similar to biological ones. It is adaptable to various tasks and compatible across different scenarios, with experimental results demonstrating its potential.
- Abstract（参考訳）: 本稿では,ANN(Artificial Neural Networks)アーキテクチャの新しい視点を提供する。
従来のANNでは、シンプルさのために木のような構造やDAG構造が一般的であり、これはNeural Architecture Search (NAS)によってプリセットまたは決定される。
しかし、これらの構造は、水平通信と後方通信の欠如により、ネットワークの協調と能力を制限する。
しかし、生物学的神経系は何十億もの神経ユニットと非常に複雑な接続を持ち、個々の生物学的ニューロンが特定の状況に基づいて他のニューロンと繋がることを可能にする。
生体システムに触発されて、トレーニング中に任意のグラフ構造を構築することを学び、神経ユニットを編成するニューラルモジュールの概念を導入し、任意のノード間の通信とモジュール間の協調を容易にする新しいフレームワークを提案する。
DAG検索空間に依存する従来のNAS手法とは異なり、我々のフレームワークは完全なグラフから学習し、生物学的ニューラルネットワークに似たニューロン間の自由な通信を可能にする。
さらに、これらの構造を計算し、それらを複数の独立したバランスの取れたニューラルネットワークモジュールに整理する正規化手法を提案する。
このアプローチは、オーバーフィッティングを減らし、並列コンピューティングによる効率を改善する。
全体として,本手法は,生物と類似した効果的な任意の構造を学習することを可能にする。
様々なタスクに適応でき、様々なシナリオで互換性があり、実験の結果はその可能性を示している。
関連論文リスト
- SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking
Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的妥当性から近年関心を集めている。
SNNの最良の学習アルゴリズムについては合意がない。
本稿では,DENSERに基づくSNN生成フレームワークであるSPENSERを提案する。
論文 参考訳（メタデータ） (2023-05-18T14:06:37Z) - Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks
via Self-Distillation and Weight Factorization [12.1610509770913]
スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。
我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。
我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
論文 参考訳（メタデータ） (2023-05-03T13:12:17Z) - Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation [3.1247096708403914]
人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場している
本研究では,磁気共鳴画像からヒト海馬を抽出するためのハイブリッドSNNトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-14T20:18:57Z) - Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。
我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。
3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2022-07-22T02:06:53Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳（メタデータ） (2021-12-13T17:35:54Z) - Spiking neural networks trained via proxy [0.696125353550498]
本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。
SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。
IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
論文 参考訳（メタデータ） (2021-09-27T17:29:51Z) - Explore the Knowledge contained in Network Weights to Obtain Sparse
Neural Networks [2.649890751459017]
本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。
タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
論文 参考訳（メタデータ） (2021-03-26T11:29:40Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks [0.0]
本研究はニューラルネットワーク(NN)の構造に関する新しい視点を提案する。
伝統的なNNは通常、便利な木のような構造である。
我々は,ニューラル・モジュールというニューラル・ユニットを編成する新しい方法を確立するために,同期グラフに基づく構造を導入する。
論文 参考訳（メタデータ） (2020-05-08T15:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。