論文の概要: Transforming to Yoked Neural Networks to Improve ANN Structure

• arxiv url: http://arxiv.org/abs/2306.02157v1
• Date: Sat, 3 Jun 2023 16:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 19:45:12.797444
• Title: Transforming to Yoked Neural Networks to Improve ANN Structure
• Title（参考訳）: ANN構造を改善するためのヨードニューラルネットワークへの変換
• Authors: Xinshun Liu and Yizhi Fang and Yichao Jiang
• Abstract要約: ほとんどの既存の人工ニューラルネットワーク(ANN)は、ニューラルネットワークを模倣するツリー構造として設計されている。 このような構造バイアスを効率的に除去するモデルYNNを提案する。 我々のモデルでは、ノードは特徴の集約と変換を行い、エッジは情報の流れを決定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing classical artificial neural networks (ANN) are designed as a tree structure to imitate neural networks. In this paper, we argue that the connectivity of a tree is not sufficient to characterize a neural network. The nodes of the same level of a tree cannot be connected with each other, i.e., these neural unit cannot share information with each other, which is a major drawback of ANN. Although ANN has been significantly improved in recent years to more complex structures, such as the directed acyclic graph (DAG), these methods also have unidirectional and acyclic bias for ANN. In this paper, we propose a method to build a bidirectional complete graph for the nodes in the same level of an ANN, which yokes the nodes of the same level to formulate a neural module. We call our model as YNN in short. YNN promotes the information transfer significantly which obviously helps in improving the performance of the method. Our YNN can imitate neural networks much better compared with the traditional ANN. In this paper, we analyze the existing structural bias of ANN and propose a model YNN to efficiently eliminate such structural bias. In our model, nodes also carry out aggregation and transformation of features, and edges determine the flow of information. We further impose auxiliary sparsity constraint to the distribution of connectedness, which promotes the learned structure to focus on critical connections. Finally, based on the optimized structure, we also design small neural module structure based on the minimum cut technique to reduce the computational burden of the YNN model. This learning process is compatible with the existing networks and different tasks. The obtained quantitative experimental results reflect that the learned connectivity is superior to the traditional NN structure.
• Abstract（参考訳）: 既存のほとんどの古典的人工ニューラルネットワーク(ANN)は、ニューラルネットワークを模倣する木構造として設計されている。 本稿では,ニューラルネットワークを特徴付けるのに,木の接続性は十分ではないと論じる。 木の同じレベルのノードは互いに接続できない、すなわちこれらの神経ユニットは互いに情報を共有できない、これはANNの大きな欠点である。 近年、ANNは有向非巡回グラフ(DAG)のようなより複雑な構造へと大幅に改善されているが、これらの手法はANNに対して一方向および非巡回バイアスを持つ。 本稿では,神経モジュールを定式化するために,同じレベルのノードをヨークスする ann の同じレベルのノードに対して,双方向完全グラフを構築する手法を提案する。 われわれのモデルを略してYNNと呼んでいる。 YNNは情報伝達を著しく促進し、明らかに手法の性能向上に寄与する。 我々のYNNは、従来のANNよりもずっとよくニューラルネットワークを模倣することができます。 本稿では、ANNの既存の構造バイアスを分析し、そのような構造バイアスを効率的に除去するモデルYNNを提案する。 我々のモデルでは、ノードは特徴の集約と変換を行い、エッジは情報の流れを決定する。 さらに,接続性の分布に補助的なスパーシティ制約を課し,重要な接続に焦点をあてる学習構造を促進する。 最後に、最適化された構造に基づいて、YNNモデルの計算負担を軽減するため、最小カット法に基づく小さなニューラルモジュール構造も設計する。 この学習プロセスは、既存のネットワークと異なるタスクと互換性がある。 得られた定量的実験結果は,学習した接続性が従来のnn構造よりも優れていることを示唆する。

関連論文リスト

• SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的妥当性から近年関心を集めている。 SNNの最良の学習アルゴリズムについては合意がない。 本稿では,DENSERに基づくSNN生成フレームワークであるSPENSERを提案する。
  論文  参考訳（メタデータ） (2023-05-18T14:06:37Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation [3.1247096708403914]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場している 本研究では,磁気共鳴画像からヒト海馬を抽出するためのハイブリッドSNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T20:18:57Z)
• Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
  動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。 我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-22T02:06:53Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Spiking neural networks trained via proxy [0.696125353550498]
  本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。 SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。 IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
  論文  参考訳（メタデータ） (2021-09-27T17:29:51Z)
• Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks [2.649890751459017]
  本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。 タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
  論文  参考訳（メタデータ） (2021-03-26T11:29:40Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。