論文の概要: KCNet: An Insect-Inspired Single-Hidden-Layer Neural Network with Randomized Binary Weights for Prediction and Classification Tasks

• arxiv url: http://arxiv.org/abs/2108.07554v2
• Date: Sat, 04 Jan 2025 18:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:04:11.763312
• Title: KCNet: An Insect-Inspired Single-Hidden-Layer Neural Network with Randomized Binary Weights for Prediction and Classification Tasks
• Title（参考訳）: KCNet: 予測と分類のためのランダムな二重み付き昆虫にインスパイアされたシングルハイデン・レイアニューラルネットワーク
• Authors: Jinyung Hong, Theodore P. Pavlic,
• Abstract要約: 嗅覚入力は、それぞれの匂いの混合物を符号化する脳の触覚ローブによって受信される。 我々は,入力層と隠蔽層との間の疎結合,ランダム化,二重みを含む単一隠れ層ニューラルネットワークKCNetを提案する。 臭気の知覚特性を予測する臭気知覚タスクに対して、KCNetが既存のデータ駆動アプローチより優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.6574413179773757
• License:
• Abstract: Fruit flies are established model systems for studying olfactory learning as they will readily learn to associate odors with both electric shock or sugar rewards. The mechanisms of the insect brain apparently responsible for odor learning form a relatively shallow neuronal architecture. Olfactory inputs are received by the antennal lobe (AL) of the brain, which produces an encoding of each odor mixture across ~50 sub-units known as glomeruli. Each of these glomeruli then projects its component of this feature vector to several of ~2000 so-called Kenyon Cells (KCs) in a region of the brain known as the mushroom body (MB). Fly responses to odors are generated by small downstream neutrophils that decode the higher-order representation from the MB. Research has shown that there is no recognizable pattern in the glomeruli--KC connections (and thus the particular higher-order representations); they are akin to fingerprints--even isogenic flies have different projections. Leveraging insights from this architecture, we propose KCNet, a single-hidden-layer neural network that contains sparse, randomized, binary weights between the input layer and the hidden layer and analytically learned weights between the hidden layer and the output layer. Furthermore, we also propose a dynamic optimization algorithm that enables the KCNet to increase performance beyond its structural limits by searching for a more efficient set of inputs. For odorant-perception tasks that predict the perceptual properties of an odorant, we show that KCNet outperforms existing data-driven approaches, such as XGBoost. For image classification tasks, KCNet achieves reasonable performance on benchmark datasets (MNIST, Fashion-MNIST, and EMNIST) without any data-augmentation methods or convolutional layers and shows a particularly fast running time.
• Abstract（参考訳）: 果実ハエは、嗅覚学習を研究するためのモデルシステムとして確立されている。 昆虫の脳のメカニズムは、比較的浅い神経細胞構造を形成する。 嗅覚入力は脳のアンテナローブ(AL)によって受信され、糸球体と呼ばれる50個のサブユニットにまたがるそれぞれの匂いの混合物を符号化する。 それぞれの糸球体は、キノコ体(MB)と呼ばれる脳の領域にあるケニオン細胞(KC)と呼ばれる2000のいくつかの部位に、この特徴ベクトルの成分を投射する。 臭気に対するフライ応答は、MBから高次表現をデコードする小さな下流好中球によって生成される。 研究によると、糸球体--KC接続には認識可能なパターンがない(したがって高次表現)。 このアーキテクチャからの洞察を生かして,入力層と隠蔽層の間の疎度,ランダム化,バイナリ重みと,隠蔽層と出力層の間の重みを解析的に学習した単一隠れ層ニューラルネットワークKCNetを提案する。 さらに,より効率的な入力集合を探索することにより,KCNetが構造限界を超えて性能を向上させる動的最適化アルゴリズムを提案する。 臭気の知覚特性を予測する臭気知覚タスクに対して,KCNetはXGBoostなどの既存のデータ駆動手法よりも優れていることを示す。 画像分類タスクでは、KCNetはデータ拡張メソッドや畳み込みレイヤを使わずに、ベンチマークデータセット(MNIST、Fashion-MNIST、EMNIST)で適切なパフォーマンスを達成し、特に高速な実行時間を示す。

関連論文リスト

• An Artificial Neural Network for Image Classification Inspired by Aversive Olfactory Learning Circuits in Caenorhabditis Elegans [9.56285485736553]
  本研究では,線虫Caenorhabditis elegans(C. elegans)の逆嗅覚学習回路に触発された画像分類タスクのためのニューラルネットワーク(ANN)を提案する。 さまざまなタスクにおけるANNの顕著なパフォーマンスにもかかわらず、過度なパラメータ化、高いトレーニングコスト、限られた一般化能力といった課題に直面している。
  論文  参考訳（メタデータ） (2024-08-28T02:59:13Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• An Empirical Study of Adder Neural Networks for Object Detection [67.64041181937624]
  加算ニューラルネットワーク(AdderNets)は、追加操作のみを伴う画像分類において、優れたパフォーマンスを示している。 本稿では,オブジェクト検出のためのAdderNetsを実証研究する。
  論文  参考訳（メタデータ） (2021-12-27T11:03:13Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。