論文の概要: KCNet: An Insect-Inspired Single-Hidden-Layer Neural Network with Randomized Binary Weights for Prediction and Classification Tasks

• arxiv url: http://arxiv.org/abs/2108.07554v1
• Date: Tue, 17 Aug 2021 10:39:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 19:30:48.111396
• Title: KCNet: An Insect-Inspired Single-Hidden-Layer Neural Network with Randomized Binary Weights for Prediction and Classification Tasks
• Title（参考訳）: KCNet: 予測と分類のためのランダムな二重み付き昆虫にインスパイアされたシングルハイデン・レイアニューラルネットワーク
• Authors: Jinyung Hong, Theodore P. Pavlic
• Abstract要約: 嗅覚入力は脳のアンテナ葉によって受信され、糸球体として知られる50個のサブユニットにまたがるそれぞれの匂いの混合物を符号化する。 我々は,入力層と隠蔽層との間の疎結合,ランダム化,二重みを含む単一隠れ層ニューラルネットワークKCNetを提案する。 臭気の知覚特性を予測する臭気知覚タスクに対して、KCNetが既存のデータ駆動アプローチより優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fruit flies are established model systems for studying olfactory learning as they will readily learn to associate odors with both electric shock or sugar rewards. The mechanisms of the insect brain apparently responsible for odor learning form a relatively shallow neuronal architecture. Olfactory inputs are received by the antennal lobe (AL) of the brain, which produces an encoding of each odor mixture across ~50 sub-units known as glomeruli. Each of these glomeruli then project its component of this feature vector to several of ~2000 so-called Kenyon Cells (KCs) in a region of the brain known as the mushroom body (MB). Fly responses to odors are generated by small downstream neuropils that decode the higher-order representation from the MB. Research has shown that there is no recognizable pattern in the glomeruli--KC connections (and thus the particular higher-order representations); they are akin to fingerprints~-- even isogenic flies have different projections. Leveraging insights from this architecture, we propose KCNet, a single-hidden-layer neural network that contains sparse, randomized, binary weights between the input layer and the hidden layer and analytically learned weights between the hidden layer and the output layer. Furthermore, we also propose a dynamic optimization algorithm that enables the KCNet to increase performance beyond its structural limits by searching a more efficient set of inputs. For odorant-perception tasks that predict perceptual properties of an odorant, we show that KCNet outperforms existing data-driven approaches, such as XGBoost. For image-classification tasks, KCNet achieves reasonable performance on benchmark datasets (MNIST, Fashion-MNIST, and EMNIST) without any data-augmentation methods or convolutional layers and shows particularly fast running time. Thus, neural networks inspired by the insect brain can be both economical and perform well.
• Abstract（参考訳）: ショウジョウバエは、嗅覚学習を研究するためのモデルシステムとして確立されており、電気ショックや砂糖の報酬と容易に関連づけられるようになる。 嗅覚学習に関与していると思われる昆虫の脳のメカニズムは、比較的浅い神経細胞構造を形成する。 嗅覚入力は脳のアンテナローブ(AL)によって受信され、糸球体と呼ばれる50個のサブユニットにまたがるそれぞれの匂いの混合物を符号化する。 これらの糸球体はそれぞれ、キノコ体(MB)と呼ばれる脳の領域のケニオン細胞(KCs)と呼ばれる2000個程度の特徴ベクトルの成分を投影する。 臭気に対するフライ応答は、MBから高次表現をデコードする小さな下流神経管によって生成される。 研究により、糸球体-kc接続には認識可能なパターン(つまり特定の高次表現)が存在しないことが示されている。 このアーキテクチャからの洞察を生かして,入力層と隠蔽層の間の疎度,ランダム化,バイナリ重みと,隠蔽層と出力層の間の重みを解析的に学習した単一隠れ層ニューラルネットワークKCNetを提案する。 さらに,より効率的な入力集合を探索することにより,KCNetが構造限界を超えて性能を向上させる動的最適化アルゴリズムを提案する。 臭気の知覚特性を予測する臭気知覚タスクについて、KCNetはXGBoostのような既存のデータ駆動手法よりも優れていることを示す。 画像分類タスクでは、KCNetは、データ拡張メソッドや畳み込みレイヤなしで、ベンチマークデータセット(MNIST、Fashion-MNIST、EMNIST)で適切なパフォーマンスを達成し、特に高速な実行時間を示している。 したがって、昆虫脳にインスパイアされたニューラルネットワークは、経済性も性能も良好である。

関連論文リスト

• An Artificial Neural Network for Image Classification Inspired by Aversive Olfactory Learning Circuits in Caenorhabditis Elegans [9.56285485736553]
  本研究では,線虫Caenorhabditis elegans(C. elegans)の逆嗅覚学習回路に触発された画像分類タスクのためのニューラルネットワーク(ANN)を提案する。 さまざまなタスクにおけるANNの顕著なパフォーマンスにもかかわらず、過度なパラメータ化、高いトレーニングコスト、限られた一般化能力といった課題に直面している。
  論文  参考訳（メタデータ） (2024-08-28T02:59:13Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns [4.8416725611508244]
  スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。 本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
  論文  参考訳（メタデータ） (2023-01-29T04:22:07Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。