論文の概要: ElegansNet: a brief scientific report and initial experiments
- arxiv url: http://arxiv.org/abs/2304.13538v1
- Date: Thu, 6 Apr 2023 13:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-30 07:20:35.151433
- Title: ElegansNet: a brief scientific report and initial experiments
- Title（参考訳）: elegansnet: 簡単な科学報告と最初の実験
- Authors: Francesco Bardozzo, Andrea Terlizzi, Pietro Li\`o, Roberto Tagliaferri
- Abstract要約: ElegansNetは、現実世界のニューラルネットワーク回路を模倣するニューラルネットワークである。
自然ネットワークに似たトポロジを持つ改良されたディープラーニングシステムを生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research report introduces ElegansNet, a neural network that mimics
real-world neuronal network circuitry, with the goal of better understanding
the interplay between connectome topology and deep learning systems. The
proposed approach utilizes the powerful representational capabilities of living
beings' neuronal circuitry to design and generate improved deep learning
systems with a topology similar to natural networks. The Caenorhabditis elegans
connectome is used as a reference due to its completeness, reasonable size, and
functional neuron classes annotations. It is demonstrated that the connectome
of simple organisms exhibits specific functional relationships between neurons,
and once transformed into learnable tensor networks and integrated into modern
architectures, it offers bio-plausible structures that efficiently solve
complex tasks. The performance of the models is demonstrated against randomly
wired networks and compared to artificial networks ranked on global benchmarks.
In the first case, ElegansNet outperforms randomly wired networks.
Interestingly, ElegansNet models show slightly similar performance with only
those based on the Watts-Strogatz small-world property. When compared to
state-of-the-art artificial neural networks, such as transformers or
attention-based autoencoders, ElegansNet outperforms well-known deep learning
and traditional models in both supervised image classification tasks and
unsupervised hand-written digits reconstruction, achieving top-1 accuracy of
99.99% on Cifar10 and 99.84% on MNIST Unsup on the validation sets.
- Abstract（参考訳）: 本研究報告では,コネクトームトポロジーとディープラーニングシステムとの相互作用をより深く理解することを目的として,現実世界の神経回路を模倣したニューラルネットワークelegansnetを紹介する。
提案手法は、生物の神経回路の強力な表現能力を利用して、ニューラルネットワークに似たトポロジを持つ改良されたディープラーニングシステムの設計と生成を行う。
Caenorhabditis elegans Connectomeはその完全性、妥当なサイズ、機能的なニューロンクラスアノテーションのために参照として使用される。
単純な生物のコネクトームはニューロン間の特定の機能的関係を示し、学習可能なテンソルネットワークに変換され、現代的なアーキテクチャに統合され、複雑なタスクを効率的に解くことができるバイオプラウソブルな構造を提供する。
モデルの性能は、ランダムに繋がったネットワークに対して実証され、グローバルベンチマークでランク付けされた人工ネットワークと比較される。
最初のケースでは、ElegansNetはランダムな有線ネットワークよりも優れています。
興味深いことに、ElegansNetモデルはWatts-Strogatz小世界特性に基づくモデルとわずかに類似した性能を示している。
トランスフォーマーやアテンションベースのオートエンコーダといった最先端の人工ニューラルネットワークと比較すると、elegansnetは、教師付き画像分類タスクと教師なし手書きの数字再構成の両方において、よく知られたディープラーニングと伝統的なモデルよりも優れており、検証セットでは、cifar10で99.99%、mnist unsupで99.84%のtop-1精度を達成している。
関連論文リスト
- Hybrid deep additive neural networks [0.0]
加算回帰という概念を取り入れた新しいディープニューラルネットワークを導入する。
我々のニューラルネットワークは、Kolmogorov-Arnoldネットワークとアーキテクチャ上の類似点を共有しているが、よりシンプルで柔軟なアクティベーションと基底関数に基づいている。
我々はそれらの普遍近似特性を導出し、シミュレーション研究と実データ応用を通してその効果を実証する。
論文 参考訳（メタデータ） (2024-11-14T04:26:47Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Functional Connectome: Approximating Brain Networks with Artificial
Neural Networks [1.952097552284465]
訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。
訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。
本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
論文 参考訳（メタデータ） (2022-11-23T13:12:13Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - Structure and Performance of Fully Connected Neural Networks: Emerging
Complex Network Properties [0.8484871864277639]
完全連結ニューラルネットワークの構造と性能を解析するために,複素ネットワーク(CN)技術を提案する。
4万のモデルとそれぞれのCNプロパティでデータセットを構築します。
本研究は,完全連結ニューラルネットワークの性能において,CN特性が重要な役割を担っていることを示唆する。
論文 参考訳（メタデータ） (2021-07-29T14:53:52Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。