論文の概要: Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives

• arxiv url: http://arxiv.org/abs/2310.07885v1
• Date: Wed, 11 Oct 2023 20:47:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 13:43:10.010572
• Title: Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives
• Title（参考訳）: 複雑集団に触発された局所的誤り信号を用いたリーダ追従型ニューラルネットワーク
• Authors: Chenzhong Yin, Mingxi Cheng, Xiongye Xiao, Xinghe Chen, Shahin Nazarian, Andrei Irimia and Paul Bogdan
• Abstract要約: 自然の集合的アンサンブルにインスパイアされたニューラルネットワークアーキテクチャを提案する。 我々は、ローカルエラー信号を活用し、バックプロパゲーション(BP)とグローバルロスを組み込むことで、リーダー・フォロワーニューラルネットワーク(LFNN)を訓練する。 我々のLFNNは、MNISTやCIFAR-10の従来のBPフリーアルゴリズムよりも大幅にエラー率を低くし、BP対応ベースラインを超えています。
• 参考スコア（独自算出の注目度）: 7.504310312530346
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The collective behavior of a network with heterogeneous, resource-limited information processing units (e.g., group of fish, flock of birds, or network of neurons) demonstrates high self-organization and complexity. These emergent properties arise from simple interaction rules where certain individuals can exhibit leadership-like behavior and influence the collective activity of the group. Motivated by the intricacy of these collectives, we propose a neural network (NN) architecture inspired by the rules observed in nature's collective ensembles. This NN structure contains workers that encompass one or more information processing units (e.g., neurons, filters, layers, or blocks of layers). Workers are either leaders or followers, and we train a leader-follower neural network (LFNN) by leveraging local error signals and optionally incorporating backpropagation (BP) and global loss. We investigate worker behavior and evaluate LFNNs through extensive experimentation. Our LFNNs trained with local error signals achieve significantly lower error rates than previous BP-free algorithms on MNIST and CIFAR-10 and even surpass BP-enabled baselines. In the case of ImageNet, our LFNN-l demonstrates superior scalability and outperforms previous BP-free algorithms by a significant margin.
• Abstract（参考訳）: 不均一で資源に制限された情報処理ユニット(魚のグループ、鳥の群れ、ニューロンのネットワークなど)を持つネットワークの集団行動は、高い自己組織化と複雑さを示す。 これらの創発的特性は、特定の個人がリーダーシップのような行動を示し、グループの集団活動に影響を与える単純な相互作用ルールから生じる。 これらの集合の複雑さに感化されて、自然の集合集合集合の規則に着想を得たニューラルネットワーク(NN)アーキテクチャを提案する。 このnn構造は、1つ以上の情報処理ユニット(ニューロン、フィルタ、レイヤ、あるいはレイヤブロックなど)を包含するワーカーを含む。 労働者はリーダーまたはフォロワーであり、ローカルエラー信号を活用して、バックプロパゲーション(BP)とグローバルロスを任意に取り入れることで、リーダ・フォロワーニューラルネットワーク(LFNN)をトレーニングします。 作業者の行動を調査し,広範な実験を通じてLFNNを評価する。 ローカルエラー信号で訓練したLFNNは、MNISTやCIFAR-10の従来のBPフリーアルゴリズムよりも大幅にエラー率を低くし、BP対応ベースラインを超えています。 ImageNetの場合、LFNN-lは優れたスケーラビリティを示し、従来のBPフリーアルゴリズムよりも大幅に性能が向上する。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Deep Neural Networks as Complex Networks [1.704936863091649]
  我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。 我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。 我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
  論文  参考訳（メタデータ） (2022-09-12T16:26:04Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Decentralized Control with Graph Neural Networks [147.84766857793247]
  分散コントローラを学習するグラフニューラルネットワーク(GNN)を用いた新しいフレームワークを提案する。 GNNは、自然分散アーキテクチャであり、優れたスケーラビリティと転送性を示すため、タスクに適している。 分散コントローラの学習におけるGNNの可能性を説明するために、群れとマルチエージェントパス計画の問題を検討する。
  論文  参考訳（メタデータ） (2020-12-29T18:59:14Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。