論文の概要: ElegansNet: a brief scientific report and initial experiments
- arxiv url: http://arxiv.org/abs/2304.13538v1
- Date: Thu, 6 Apr 2023 13:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-30 07:20:35.151433
- Title: ElegansNet: a brief scientific report and initial experiments
- Title(参考訳): elegansnet: 簡単な科学報告と最初の実験
- Authors: Francesco Bardozzo, Andrea Terlizzi, Pietro Li\`o, Roberto Tagliaferri
- Abstract要約: ElegansNetは、現実世界のニューラルネットワーク回路を模倣するニューラルネットワークである。
自然ネットワークに似たトポロジを持つ改良されたディープラーニングシステムを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research report introduces ElegansNet, a neural network that mimics
real-world neuronal network circuitry, with the goal of better understanding
the interplay between connectome topology and deep learning systems. The
proposed approach utilizes the powerful representational capabilities of living
beings' neuronal circuitry to design and generate improved deep learning
systems with a topology similar to natural networks. The Caenorhabditis elegans
connectome is used as a reference due to its completeness, reasonable size, and
functional neuron classes annotations. It is demonstrated that the connectome
of simple organisms exhibits specific functional relationships between neurons,
and once transformed into learnable tensor networks and integrated into modern
architectures, it offers bio-plausible structures that efficiently solve
complex tasks. The performance of the models is demonstrated against randomly
wired networks and compared to artificial networks ranked on global benchmarks.
In the first case, ElegansNet outperforms randomly wired networks.
Interestingly, ElegansNet models show slightly similar performance with only
those based on the Watts-Strogatz small-world property. When compared to
state-of-the-art artificial neural networks, such as transformers or
attention-based autoencoders, ElegansNet outperforms well-known deep learning
and traditional models in both supervised image classification tasks and
unsupervised hand-written digits reconstruction, achieving top-1 accuracy of
99.99% on Cifar10 and 99.84% on MNIST Unsup on the validation sets.
- Abstract(参考訳): 本研究報告では,コネクトームトポロジーとディープラーニングシステムとの相互作用をより深く理解することを目的として,現実世界の神経回路を模倣したニューラルネットワークelegansnetを紹介する。
提案手法は、生物の神経回路の強力な表現能力を利用して、ニューラルネットワークに似たトポロジを持つ改良されたディープラーニングシステムの設計と生成を行う。
Caenorhabditis elegans Connectomeはその完全性、妥当なサイズ、機能的なニューロンクラスアノテーションのために参照として使用される。
単純な生物のコネクトームはニューロン間の特定の機能的関係を示し、学習可能なテンソルネットワークに変換され、現代的なアーキテクチャに統合され、複雑なタスクを効率的に解くことができるバイオプラウソブルな構造を提供する。
モデルの性能は、ランダムに繋がったネットワークに対して実証され、グローバルベンチマークでランク付けされた人工ネットワークと比較される。
最初のケースでは、ElegansNetはランダムな有線ネットワークよりも優れています。
興味深いことに、ElegansNetモデルはWatts-Strogatz小世界特性に基づくモデルとわずかに類似した性能を示している。
トランスフォーマーやアテンションベースのオートエンコーダといった最先端の人工ニューラルネットワークと比較すると、elegansnetは、教師付き画像分類タスクと教師なし手書きの数字再構成の両方において、よく知られたディープラーニングと伝統的なモデルよりも優れており、検証セットでは、cifar10で99.99%、mnist unsupで99.84%のtop-1精度を達成している。
関連論文リスト
- What makes a small-world network? Leveraging machine learning for the robust prediction and classification of networks [0.0]
我々は、解釈可能な機械学習の進歩を利用して、様々なネットワーク属性に基づいて、生成モデルによってシミュレーションされたネットワークを分類する。
本研究は,ネットワークモデルの作成,複雑なネットワーク構造の理解,実世界のネットワーク形成において,ネットワークの特徴とその相互作用の重要性を明らかにするものである。
論文 参考訳(メタデータ) (2024-03-20T00:24:23Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Functional Connectome: Approximating Brain Networks with Artificial
Neural Networks [1.952097552284465]
訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。
訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。
本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
論文 参考訳(メタデータ) (2022-11-23T13:12:13Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳(メタデータ) (2021-07-30T03:37:00Z) - Structure and Performance of Fully Connected Neural Networks: Emerging
Complex Network Properties [0.8484871864277639]
完全連結ニューラルネットワークの構造と性能を解析するために,複素ネットワーク(CN)技術を提案する。
4万のモデルとそれぞれのCNプロパティでデータセットを構築します。
本研究は,完全連結ニューラルネットワークの性能において,CN特性が重要な役割を担っていることを示唆する。
論文 参考訳(メタデータ) (2021-07-29T14:53:52Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳(メタデータ) (2021-02-17T04:47:18Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural
Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。
同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文 参考訳(メタデータ) (2020-02-11T11:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。