論文の概要: Automated Architecture Synthesis for Arbitrarily Structured Neural Networks

• arxiv url: http://arxiv.org/abs/2306.02157v4
• Date: Wed, 04 Jun 2025 03:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:13.758496
• Title: Automated Architecture Synthesis for Arbitrarily Structured Neural Networks
• Title（参考訳）: 任意構造ニューラルネットワークのための自動アーキテクチャ合成
• Authors: Xinshun Liu, Yizhi Fang, Yichao Jiang,
• Abstract要約: 学習中に任意のグラフ構造を構築することを学習する新しいフレームワークを提案する。 我々のフレームワークは完全なグラフから学習し、生物学的ニューラルネットワークに似たニューロン間の自由なコミュニケーションを可能にします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper offers a new perspective on Artificial Neural Networks (ANNs) architecture. Traditional ANNs commonly use tree-like or DAG structures for simplicity, which can be preset or determined by Neural Architecture Search (NAS). Yet, these structures restrict network collaboration and capability due to the absence of horizontal and backward communication. Biological neural systems, however, feature billions of neural units with highly complex connections, allowing each biological neuron to connect with others based on specific situations. Inspired by biological systems, we propose a novel framework that learns to construct arbitrary graph structures during training and introduce the concept of Neural Modules for organizing neural units, which facilitates communication between any nodes and collaboration among modules. Unlike traditional NAS methods that rely on DAG search spaces, our framework learns from complete graphs, enabling free communication between neurons akin to biological neural networks. Furthermore, we present a method to compute these structures and a regularization technique that organizes them into multiple independent, balanced neural modules. This approach reduces overfitting and improves efficiency through parallel computing. Overall, our method allows ANNs to learn effective arbitrary structures similar to biological ones. It is adaptable to various tasks and compatible across different scenarios, with experimental results demonstrating its potential.
• Abstract（参考訳）: 本稿では,ANN(Artificial Neural Networks)アーキテクチャの新しい視点を提供する。 従来のANNでは、シンプルさのために木のような構造やDAG構造が一般的であり、これはNeural Architecture Search (NAS)によってプリセットまたは決定される。 しかし、これらの構造は、水平通信と後方通信の欠如により、ネットワークの協調と能力を制限する。 しかし、生物学的神経系は何十億もの神経ユニットと非常に複雑な接続を持ち、個々の生物学的ニューロンが特定の状況に基づいて他のニューロンと繋がることを可能にする。 生体システムに触発されて、トレーニング中に任意のグラフ構造を構築することを学び、神経ユニットを編成するニューラルモジュールの概念を導入し、任意のノード間の通信とモジュール間の協調を容易にする新しいフレームワークを提案する。 DAG検索空間に依存する従来のNAS手法とは異なり、我々のフレームワークは完全なグラフから学習し、生物学的ニューラルネットワークに似たニューロン間の自由な通信を可能にする。 さらに、これらの構造を計算し、それらを複数の独立したバランスの取れたニューラルネットワークモジュールに整理する正規化手法を提案する。 このアプローチは、オーバーフィッティングを減らし、並列コンピューティングによる効率を改善する。 全体として,本手法は,生物と類似した効果的な任意の構造を学習することを可能にする。 様々なタスクに適応でき、様々なシナリオで互換性があり、実験の結果はその可能性を示している。

関連論文リスト

• Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning [78.88684753303794]
  ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。 ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
  論文  参考訳（メタデータ） (2025-06-12T17:59:31Z)
• Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
  空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。 我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。 この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
  論文  参考訳（メタデータ） (2024-09-26T10:00:05Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
  スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。 本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。 本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-11T06:39:11Z)
• SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的妥当性から近年関心を集めている。 SNNの最良の学習アルゴリズムについては合意がない。 本稿では,DENSERに基づくSNN生成フレームワークであるSPENSERを提案する。
  論文  参考訳（メタデータ） (2023-05-18T14:06:37Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• Biologically inspired structure learning with reverse knowledge distillation for spiking neural networks [19.33517163587031]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。 現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。 本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:41:17Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation [3.1247096708403914]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場している 本研究では,磁気共鳴画像からヒト海馬を抽出するためのハイブリッドSNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T20:18:57Z)
• Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
  動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。 我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-22T02:06:53Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Spiking neural networks trained via proxy [0.696125353550498]
  本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。 SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。 IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
  論文  参考訳（メタデータ） (2021-09-27T17:29:51Z)
• Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks [2.649890751459017]
  本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。 タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
  論文  参考訳（メタデータ） (2021-03-26T11:29:40Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• A multi-agent model for growing spiking neural networks [0.0]
  このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。 シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。 このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
  論文  参考訳（メタデータ） (2020-09-21T15:11:29Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks [0.0]
  本研究はニューラルネットワーク(NN)の構造に関する新しい視点を提案する。 伝統的なNNは通常、便利な木のような構造である。 我々は,ニューラル・モジュールというニューラル・ユニットを編成する新しい方法を確立するために,同期グラフに基づく構造を導入する。
  論文  参考訳（メタデータ） (2020-05-08T15:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。