論文の概要: Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity
- arxiv url: http://arxiv.org/abs/2405.08510v1
- Date: Tue, 14 May 2024 11:21:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 14:28:33.702969
- Title: Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity
- Title（参考訳）: 制御のためのニューラルネットワークの成長 : 神経多様性の役割
- Authors: Eleni Nisioti, Erwan Plantec, Milton Montero, Joachim Winther Pedersen, Sebastian Risi,
- Abstract要約: 生物学的進化において、複雑な神経構造は少数の細胞成分から成長する。
この自己組織化は、生物学的ニューラルネットワークの一般化と堅牢性において重要な役割を果たすと仮定されている。
本稿では,強化学習タスクを解くために,ニューラルネットワークを成長させるアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 7.479827648985631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In biological evolution complex neural structures grow from a handful of cellular ingredients. As genomes in nature are bounded in size, this complexity is achieved by a growth process where cells communicate locally to decide whether to differentiate, proliferate and connect with other cells. This self-organisation is hypothesized to play an important part in the generalisation, and robustness of biological neural networks. Artificial neural networks (ANNs), on the other hand, are traditionally optimized in the space of weights. Thus, the benefits and challenges of growing artificial neural networks remain understudied. Building on the previously introduced Neural Developmental Programs (NDP), in this work we present an algorithm for growing ANNs that solve reinforcement learning tasks. We identify a key challenge: ensuring phenotypic complexity requires maintaining neuronal diversity, but this diversity comes at the cost of optimization stability. To address this, we introduce two mechanisms: (a) equipping neurons with an intrinsic state inherited upon neurogenesis; (b) lateral inhibition, a mechanism inspired by biological growth, which controlls the pace of growth, helping diversity persist. We show that both mechanisms contribute to neuronal diversity and that, equipped with them, NDPs achieve comparable results to existing direct and developmental encodings in complex locomotion tasks
- Abstract（参考訳）: 生物学的進化において、複雑な神経構造は少数の細胞成分から成長する。
自然界のゲノムはサイズが制限されているため、この複雑さは細胞が他の細胞と分化し、増殖し、接続するかを決定するために局所的に通信する成長過程によって達成される。
この自己組織化は、生物学的ニューラルネットワークの一般化と堅牢性において重要な役割を果たすと仮定されている。
一方、ニューラルネットワーク(ANN)は、伝統的に重みの空間で最適化されている。
このように、人工ニューラルネットワークを成長させることの利点と課題は、まだ検討されていない。
本稿では,従来導入されていたニューラル開発プログラム(NDP)に基づいて,強化学習タスクを解くアルゴリズムを提案する。
表現型複雑性を保証するには、神経細胞の多様性を維持する必要があるが、この多様性は最適化の安定性の犠牲になる。
この問題に対処するために、我々は2つのメカニズムを紹介します。
a) 神経新生によって引き継がれた内在状態のニューロン
b) 側方抑制は、生物学的成長にインスパイアされたメカニズムで、成長のペースを制御し、多様性が持続するのを助ける。
両メカニズムがニューロンの多様性に寄与し,それらと組み合わせたNDPは,複雑な移動課題における既存の直接的および発達的エンコーディングに匹敵する結果が得られることを示す。
関連論文リスト
- Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Towards Self-Assembling Artificial Neural Networks through Neural
Developmental Programs [10.524752369156339]
生物学的神経系は、現在の人工ニューラルネットワークと根本的に異なる方法で生成される。
対照的に、生物学的神経系は動的自己組織化過程を通じて成長する。
論文 参考訳（メタデータ） (2023-07-17T01:58:52Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳（メタデータ） (2023-05-25T11:33:04Z) - Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。
膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文 参考訳（メタデータ） (2023-05-19T07:32:29Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - The distribution of inhibitory neurons in the C. elegans connectome
facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。
一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。
我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文 参考訳（メタデータ） (2020-10-28T23:11:37Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。