論文の概要: Cyclic Neural Network

• arxiv url: http://arxiv.org/abs/2402.03332v1
• Date: Thu, 11 Jan 2024 07:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 15:36:56.135053
• Title: Cyclic Neural Network
• Title（参考訳）: サイクリックニューラルネットワーク
• Authors: Liangwei Yang, Hengrui Zhang, Zihe Song, Jiawei Zhang, Weizhi Zhang, Jing Ma, Philip S. Yu
• Abstract要約: サイクリックニューラルネットワーク(Cyclic NN)について紹介する。 生体神経系のフレキシブルでダイナミックなグラフの性質をエミュレートし、サイクルを含むあらゆるグラフ構造におけるニューロン接続を可能にする。 この新設計パラダイムに基づく最初の詳細なモデルであるグラフオーバー多層パーセプトロンを開発した。
• 参考スコア（独自算出の注目度）: 46.05071312173701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper answers a fundamental question in artificial neural network (ANN) design: We do not need to build ANNs layer-by-layer sequentially to guarantee the Directed Acyclic Graph (DAG) property. Drawing inspiration from biological intelligence (BI), where neurons form a complex, graph-structured network, we introduce the groundbreaking Cyclic Neural Networks (Cyclic NNs). It emulates the flexible and dynamic graph nature of biological neural systems, allowing neuron connections in any graph-like structure, including cycles. This offers greater adaptability compared to the DAG structure of current ANNs. We further develop the Graph Over Multi-layer Perceptron, which is the first detailed model based on this new design paradigm. Experimental validation of the Cyclic NN's advantages on widely tested datasets in most generalized cases, demonstrating its superiority over current BP training methods through the use of a forward-forward (FF) training algorithm. This research illustrates a totally new ANN design paradigm, which is a significant departure from current ANN designs, potentially leading to more biologically plausible AI systems.
• Abstract（参考訳）: 本稿では,人工知能(ANN)設計における基本的疑問に答える: 指向非巡回グラフ(DAG)特性を保証するために,ANNを階層的に逐次構築する必要はない。 ニューロンが複雑でグラフ構造を持つネットワークを形成する生体知能(BI)からインスピレーションを得るため,我々はサイクリックニューラルネットワーク(Cyclic NN)を導入した。 生体神経系のフレキシブルでダイナミックなグラフの性質をエミュレートし、サイクルを含むあらゆるグラフ構造におけるニューロン接続を可能にする。 これは現在のANNのDAG構造よりも適応性が高い。 我々は,この新しい設計パラダイムに基づく最初の詳細なモデルである多層パーセプトロン上のグラフをさらに発展させる。 広範にテストされたデータセットに対する循環nnの利点を実験的に検証し、フォワードフォワード(ff)トレーニングアルゴリズムを用いて現在のbpトレーニング法よりも優れていることを示した。 この研究は、現在のANN設計から大きく離れている全く新しいANN設計パラダイムを示しており、より生物学的に可能なAIシステムに繋がる可能性がある。

関連論文リスト

• Planarian Neural Networks: Evolutionary Patterns from Basic Bilateria Shaping Modern Artificial Neural Network Architectures [7.054776300100835]
  本研究の目的は, プランタリアンの生物学的神経系構造に触発された新しいアプローチにより, ANNの画像分類性能を向上させることである。 提案した計画的ニューラルネットワークは、CIFAR-10とCIFAR-100データセットに基づいて評価された。
  論文  参考訳（メタデータ） (2025-01-08T18:59:36Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Web Neural Network with Complete DiGraphs [8.2727500676707]
  現在のニューラルネットワークは、神経細胞、畳み込み、再発などの脳構造を曖昧に模倣する構造を持っている。 本稿では、ニューロン接続にサイクルを導入し、他のネットワーク層でよく見られるシーケンシャルな性質を除去することにより、新たな構造特性を付加する。 さらに、モデルには、ニューラルネットワークにインスパイアされた連続的な入力と出力があり、ネットワークは最終結果を返すのではなく、分類のプロセスを学ぶことができる。
  論文  参考訳（メタデータ） (2024-01-07T05:12:10Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• Spiking Graph Convolutional Networks [19.36064180392385]
  SpikingGCNは、GCNの埋め込みとSNNの生体忠実性特性を統合することを目的としたエンドツーエンドフレームワークである。 ニューロモルフィックチップ上でのスパイキングGCNは、グラフデータ解析にエネルギー効率の明確な利点をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-05T16:44:36Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Directed Acyclic Graph Neural Networks [9.420935957200518]
  私たちは、特殊な、しかし広く使用されているグラフ-DAG-に焦点を当て、ニューラルネットワーク設計に強い誘導バイアス-部分順序付け-を注入します。 本論文では,部分順序で定義されるフローに応じた情報処理を行うアーキテクチャである DAGNN を提案する。
  論文  参考訳（メタデータ） (2021-01-20T04:50:16Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。