論文の概要: Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks

• arxiv url: http://arxiv.org/abs/2005.04088v3
• Date: Sun, 08 Dec 2024 14:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:06.585598
• Title: Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける協調強化のためのニューラルネットワークモジュールの自動編成
• Authors: Xinshun Liu, Yizhi Fang, Yichao Jiang,
• Abstract要約: 本研究はニューラルネットワーク(NN)の構造に関する新しい視点を提案する。 伝統的なNNは通常、便利な木のような構造である。 我々は,ニューラル・モジュールというニューラル・ユニットを編成する新しい方法を確立するために,同期グラフに基づく構造を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work proposes a new perspective on the structure of Neural Networks (NNs). Traditional Neural Networks are typically tree-like structures for convenience, which can be predefined or learned by NAS methods. However, such a structure can not facilitate communications between nodes at the same level or signal transmissions to previous levels. These defects prevent effective collaboration, restricting the capabilities of neural networks. It is well-acknowledged that the biological neural system contains billions of neural units. Their connections are far more complicated than the current NN structure. To enhance the representational ability of neural networks, existing works try to increase the depth of the neural network and introduce more parameters. However, they all have limitations with constrained parameters. In this work, we introduce a synchronous graph-based structure to establish a novel way of organizing the neural units: the Neural Modules. This framework allows any nodes to communicate with each other and encourages neural units to work collectively, demonstrating a departure from the conventional constrained paradigm. Such a structure also provides more candidates for the NAS methods. Furthermore, we also propose an elegant regularization method to organize neural units into multiple independent, balanced neural modules systematically. This would be convenient for handling these neural modules in parallel. Compared to traditional NNs, our method unlocks the potential of NNs from tree-like structures to general graphs and makes NNs be optimized in an almost complete set. Our approach proves adaptable to diverse tasks, offering compatibility across various scenarios. Quantitative experimental results substantiate the potential of our structure, indicating the improvement of NNs.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(NN)の構造に関する新たな視点を提案する。 従来のニューラルネットワークは、一般的に便利な木のような構造であり、NASメソッドによって事前定義されたり、学習されたりすることができる。 しかし、そのような構造は、同じレベルのノード間の通信や、以前のレベルへの信号伝達を促進できない。 これらの欠陥は効果的なコラボレーションを防ぎ、ニューラルネットワークの能力を制限する。 生物学的神経系が何十億もの神経ユニットを含んでいることはよく認識されている。 彼らの接続は現在のNN構造よりもはるかに複雑である。 ニューラルネットワークの表現能力を高めるために、既存の研究はニューラルネットワークの深さを高め、より多くのパラメータを導入しようとしている。 しかし、いずれも制約パラメータの制限がある。 本研究では,ニューラル・モジュールというニューラル・ユニットを編成する新しい手法を確立するために,同期グラフに基づく構造を導入する。 このフレームワークは、任意のノードが互いに通信し、ニューラルユニットを集合的に動作させることを可能にし、従来の制約されたパラダイムから逸脱することを示す。 このような構造はNASメソッドの候補も増やす。 さらに,複数の独立したバランスの取れたニューラルモジュールを体系的に構成するエレガントな正規化手法を提案する。 これはこれらのニューラルモジュールを並列に扱うのに便利だろう。 従来のNNと比較して,木のような構造から一般的なグラフへのNNのポテンシャルを解放し,NNをほぼ完全なセットで最適化する。 このアプローチは多様なタスクに適用可能であることを証明し、さまざまなシナリオで互換性を提供します。 定量的に検討した結果, NNの改善が示唆され, 構造の可能性が実証された。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Transforming to Yoked Neural Networks to Improve ANN Structure [0.0]
  ほとんどの既存の人工ニューラルネットワーク(ANN)は、ニューラルネットワークを模倣するツリー構造として設計されている。 このような構造バイアスを効率的に除去するモデルYNNを提案する。 我々のモデルでは、ノードは特徴の集約と変換を行い、エッジは情報の流れを決定する。
  論文  参考訳（メタデータ） (2023-06-03T16:56:18Z)
• Biologically inspired structure learning with reverse knowledge distillation for spiking neural networks [19.33517163587031]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。 現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。 本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:41:17Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
  我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。 この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。 本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-11-17T03:37:06Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。