論文の概要: Multi-Neuron Representations of Hierarchical Concepts in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2401.04628v2
• Date: Thu, 11 Apr 2024 15:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 18:45:46.809883
• Title: Multi-Neuron Representations of Hierarchical Concepts in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける階層的概念のマルチニューロン表現
• Authors: Nancy A. Lynch,
• Abstract要約: 階層的概念が階層型ニューラルネットワークの3つのタイプでどのように表現できるかを説明する。 目的は、概念に関する部分的な情報が提示されたときや、ネットワーク内のいくつかのニューロンが失敗したときの認識を支援することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe how hierarchical concepts can be represented in three types of layered neural networks. The aim is to support recognition of the concepts when partial information about the concepts is presented, and also when some of the neurons in the network might fail. Our failure model involves initial random failures. The three types of networks are: feed-forward networks with high connectivity, feed-forward networks with low connectivity, and layered networks with low connectivity and with both forward edges and "lateral" edges within layers. In order to achieve fault-tolerance, the representations all use multiple representative neurons for each concept. We show how recognition can work in all three of these settings, and quantify how the probability of correct recognition depends on several parameters, including the number of representatives and the neuron failure probability. We also discuss how these representations might be learned, in all three types of networks. For the feed-forward networks, the learning algorithms are similar to ones used in [4], whereas for networks with lateral edges, the algorithms are generally inspired by work on the assembly calculus [3, 6, 7].
• Abstract（参考訳）: 階層的概念が階層型ニューラルネットワークの3つのタイプでどのように表現できるかを説明する。 目的は、概念に関する部分的な情報が提示されたときや、ネットワーク内のいくつかのニューロンが失敗したときの認識を支援することである。 私たちの失敗モデルは、初期ランダムな失敗を伴う。 3種類のネットワークは、高い接続性を持つフィードフォワードネットワーク、低い接続性を持つフィードフォワードネットワーク、低い接続性を持つレイヤネットワーク、および層内の前方エッジと「横」エッジである。 フォールトトレランスを達成するために、すべての表現はそれぞれの概念に複数の代表ニューロンを使用する。 これらの3つの設定で認識がどのように機能するかを示し、正しい認識の確率が、代表者数やニューロンの故障確率など、いくつかのパラメータに依存するかを定量的に示す。 また、これらの表現が3種類のネットワークでどのように学習されるかについても論じる。 フィードフォワードネットワークの場合、学習アルゴリズムは[4]で使用されるものと似ているが、横方向のエッジを持つネットワークでは、一般的に組立計算 [3, 6, 7] に着想を得ている。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Learning Hierarchically-Structured Concepts II: Overlapping Concepts, and Networks With Feedback [4.847980206213334]
  Lynch and Mallmann-Trenn (Neural Networks, 2021)では、単純な木構造の概念とフィードフォワード層ネットワークを検討した。 ここでは、モデルを2つの方法で拡張する: 異なる概念を持つ子供間で限られた重複を許容し、ネットワークにフィードバックエッジを含めることを可能にする。 認識のためのアルゴリズムと学習のためのアルゴリズムを記述・分析する。
  論文  参考訳（メタデータ） (2023-04-19T10:11:29Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• From Common Sense Reasoning to Neural Network Models through Multiple Preferences: an overview [0.0]
  本稿では、条件論理と優先論理とニューラルネットワークモデルの関係について論じる。 提案する概念的マルチ参照セマンティクスは,近年,デファシブルな記述ロジックに導入されている。 本稿では、自己組織化マップと多層受容器の事例を通して、一般的なアプローチについて述べる。
  論文  参考訳（メタデータ） (2021-07-10T16:25:19Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)
• A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
  ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
  論文  参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。