論文の概要: Identifying structural design principles shaping the computational abilities of recurrent neural networks
- arxiv url: http://arxiv.org/abs/2606.23874v1
- Date: Mon, 22 Jun 2026 19:17:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.64137
- Title: Identifying structural design principles shaping the computational abilities of recurrent neural networks
- Title（参考訳）: リカレントニューラルネットワークの計算能力を形成する構造設計原理の同定
- Authors: Tom Talpir, Elad Schneidman,
- Abstract要約: 我々は、リカレントニューラルネットワークの計算能力を、その接続性の関数として特徴づける。
小型ネットワークでは,ネットワーク機能性能の完全なカタログを構築した。
ネットワーク上にローカルな2サイクルと3サイクルを持つことは、その計算能力を強く向上させることを示す。
- 参考スコア（独自算出の注目度）: 1.5346678870160888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how the architecture of neural networks shapes the computations they carry is a central challenge in neuroscience and machine learning. While specific circuit architectures have been linked to particular network computations and theoretical bounds on expressivity of broad classes of networks have been found, we are still missing general principles connecting the structure of finite networks to their computational capabilities. Here, we characterize the computational abilities of recurrent neural networks as a function of their connectivity by training a large collection of different networks to compute a large set of Boolean functions. For small networks, we constructed the complete ``catalogs'' of network-function performance, which revealed that computational capacity varies widely across architectures and that most networks show poor performance, and most functions are hard to compute. However, we show that having local 2- and 3-cycles in a network strongly enhances its computational ability, and networks with such cycles are often the minimal architectures that can solve particular functions. We further show that a small set of structural statistics accurately predict networks' performance. Extending our analysis to large networks showed that typical networks fail even to approximate a randomly selected function. Surprisingly, adding a small number of sparsely connected biologically-inspired interneurons to the network dramatically increases computational capacity. As in small networks, adding short cycles improved networks' capacity, outperforming acyclic or reachability-matched controls. Thus, our results identify local cycles as design principles linking neural connectivity to computational power, and offer a general framework to explore structure-function relations in computing networks.
- Abstract（参考訳）: ニューラルネットワークのアーキテクチャが持つ計算をどのように形成するかを理解することは、神経科学と機械学習における中心的な課題である。
特定の回路アーキテクチャは、特定のネットワーク計算と幅広いネットワーククラスの表現性に関する理論的境界が発見されているが、有限ネットワークの構造とそれらの計算能力とを結びつける一般的な原理はいまだに欠落している。
本稿では,多数の異なるネットワークの集合を訓練し,ブール関数の集合を計算することで,リカレントニューラルネットワークの計算能力をその接続の関数として特徴づける。
小型ネットワークでは,ネットワーク機能性能の ‘catalogs' が完全に構築され,計算能力はアーキテクチャによって大きく変化し,ほとんどのネットワークは性能が悪く,ほとんどの関数は計算が困難であることが判明した。
しかし,ネットワーク上にローカルな2サイクルと3サイクルを持つと,その計算能力が強く向上し,そのようなサイクルを持つネットワークは,特定の関数を解くことができる最小限のアーキテクチャであることが多い。
さらに、ネットワークの性能を正確に予測する構造統計の小さなセットを示す。
解析を大規模ネットワークに拡張すると、典型的なネットワークはランダムに選択された関数を近似するのに失敗する。
驚くべきことに、ネットワークに少人数の生物学的にインスパイアされた介在ニューロンを追加することで、計算能力が劇的に向上する。
小さなネットワークのように、短いサイクルを追加することでネットワークの容量が向上し、非循環的または到達可能性に適合した制御よりも優れていた。
そこで本研究では,ニューラルネットワークと計算パワーを結合する設計原理として局所サイクルを同定し,計算機ネットワークの構造-機能関係を探索するための一般的な枠組みを提供する。
関連論文リスト
- Deep Lookup Network [76.66809324649154]
多くのリソース制限エッジデバイスでは、複雑な演算をルックアップテーブルを通じて計算し、計算コストを削減できる。
本稿では,ニューラルネットワーク構築の基本的な操作として使用できる汎用的で効率的な検索操作を提案する。
計算コストのかかる乗算演算をルックアップ演算に置き換えることで、画像分類、画像超解像、点クラウド分類タスクのためのルックアップネットワークを開発する。
論文 参考訳（メタデータ） (2025-09-17T03:31:41Z) - Effects of structural properties of neural networks on machine learning performance [12.106994960669924]
この研究は、ネットワーク科学と機械学習に有意義に寄与し、より生物学的に情報を得たニューラルネットワークの設計に刺激を与える洞察を提供する。
本研究により, 構造特性がある程度性能に影響を及ぼすことが明らかとなった。特に, 密接な相互接続型コミュニティを特徴とするネットワークは, 学習能力の向上を実証している。
論文 参考訳（メタデータ） (2025-07-14T07:39:19Z) - Neuromorphic on-chip reservoir computing with spiking neural network architectures [0.562479170374811]
貯留層コンピューティングは、リカレントニューラルネットワークの計算能力を活用するための有望なアプローチである。
本稿では,貯水池計算フレームワークにおける統合・火災ニューロンの2つのタスクへの適用について検討する。
本稿では,IntelのニューロモーフィックコンピューティングソフトウェアフレームワークであるLavaと,Loihiのオンチップ実装を用いて,独自の統合・ファイアコードを用いた貯水池計算性能について検討する。
論文 参考訳（メタデータ） (2024-07-30T05:05:09Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。
いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。
破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文 参考訳（メタデータ） (2021-02-13T18:54:49Z) - Computational Separation Between Convolutional and Fully-Connected
Networks [35.39956227364153]
我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。
具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
論文 参考訳（メタデータ） (2020-10-03T14:24:59Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。