論文の概要: Neuronal diversity can improve machine learning for physics and beyond
- arxiv url: http://arxiv.org/abs/2204.04348v3
- Date: Thu, 31 Aug 2023 00:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 21:28:42.795701
- Title: Neuronal diversity can improve machine learning for physics and beyond
- Title（参考訳）: ニューロンの多様性は物理学などの機械学習を改善する
- Authors: Anshul Choudhary, Anil Radhakrishnan, John F. Lindner, Sudeshna Sinha,
William L. Ditto
- Abstract要約: ニューロンの活性化関数を学習するニューラルネットワークを構築する。
サブネットワークは、特に非線形応答のメタ学習が効率的であるニューロンをインスタンス化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diversity conveys advantages in nature, yet homogeneous neurons typically
comprise the layers of artificial neural networks. Here we construct neural
networks from neurons that learn their own activation functions, quickly
diversify, and subsequently outperform their homogeneous counterparts on image
classification and nonlinear regression tasks. Sub-networks instantiate the
neurons, which meta-learn especially efficient sets of nonlinear responses.
Examples include conventional neural networks classifying digits and
forecasting a van der Pol oscillator and physics-informed Hamiltonian neural
networks learning H\'enon-Heiles stellar orbits and the swing of a video
recorded pendulum clock. Such \textit{learned diversity} provides examples of
dynamical systems selecting diversity over uniformity and elucidates the role
of diversity in natural and artificial systems.
- Abstract（参考訳）: 多様性は自然界の利点をもたらすが、均質なニューロンは通常、ニューラルネットワークの層を構成する。
ここでは、ニューロンの活性化関数を学習し、迅速に多様化し、画像分類や非線形回帰タスクにおいて同質のニューロンよりも優れたニューラルネットワークを構築する。
サブネットワークは、特に非線形応答のメタ学習を行うニューロンをインスタンス化する。
例えば、従来のニューラルネットワークでは、数字を分類し、van der polの発振器を予測し、物理学に変形したハミルトニアンニューラルネットワークは、h\'enon-heiles stellar軌道を学習し、ビデオ記録された振り子クロックの振れを学習する。
このような「textit{learned diversity」は、一様性よりも多様性を選択し、自然および人工システムにおける多様性の役割を解明する力学系の例を提供する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。
ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。
我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文 参考訳（メタデータ） (2024-07-01T04:25:49Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳（メタデータ） (2023-05-25T11:33:04Z) - Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。
膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文 参考訳（メタデータ） (2023-05-19T07:32:29Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。