論文の概要: Motif distribution and function of sparse deep neural networks
- arxiv url: http://arxiv.org/abs/2403.00974v1
- Date: Fri, 1 Mar 2024 20:51:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:48:28.813352
- Title: Motif distribution and function of sparse deep neural networks
- Title（参考訳）: スパースディープニューラルネットワークのモチーフ分布と機能
- Authors: Olivia T. Zahn, Thomas L. Daniel, J. Nathan Kutz
- Abstract要約: 我々は,ネットワークモチーフ理論を用いて,フィードフォワード,ディープニューラルネットワーク(DNN)の接続構造を特徴付ける。
そこで本研究では,DNNが,そのモチーフ分布によって特徴付けられる類似の接続パターンに収束することを示す。
- 参考スコア（独自算出の注目度）: 3.538505670919954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We characterize the connectivity structure of feed-forward, deep neural
networks (DNNs) using network motif theory. To address whether a particular
motif distribution is characteristic of the training task, or function of the
DNN, we compare the connectivity structure of 350 DNNs trained to simulate a
bio-mechanical flight control system with different randomly initialized
parameters. We develop and implement algorithms for counting second- and
third-order motifs and calculate their significance using their Z-score. The
DNNs are trained to solve the inverse problem of the flight dynamics model in
Bustamante, et al. (2022) (i.e., predict the controls necessary for controlled
flight from the initial and final state-space inputs) and are sparsified
through an iterative pruning and retraining algorithm Zahn, et al. (2022). We
show that, despite random initialization of network parameters, enforced
sparsity causes DNNs to converge to similar connectivity patterns as
characterized by their motif distributions. The results suggest how neural
network function can be encoded in motif distributions, suggesting a variety of
experiments for informing function and control.
- Abstract（参考訳）: 我々は,ネットワークモチーフ理論を用いて,フィードフォワード,ディープニューラルネットワーク(DNN)の接続構造を特徴付ける。
トレーニングタスクやDNNの機能の特定のモチーフ分布が特徴的であるか,あるいはDNNの機能に対処するために,異なるパラメータで生体機械飛行制御系をシミュレートするために訓練された350個のDNNの接続構造を比較した。
第2次および第3次モチーフを数えるアルゴリズムを開発し,その有効性をz-scoreを用いて計算する。
dnnは、bustamante, et al. (2022) (すなわち、初期および最終状態空間入力から制御飛行に必要な制御を予測)における飛行ダイナミクスモデルの逆問題を解くために訓練され、反復的な刈り取りおよび再訓練アルゴリズムzahn, et al. (2022)によってスパース化される。
ネットワークパラメータのランダムな初期化にもかかわらず、強制された疎結合により、DNNはモチーフ分布によって特徴付けられる類似の接続パターンに収束する。
その結果,モチーフ分布にニューラルネットワーク関数をエンコードする方法が示唆され,機能や制御を知らせるための様々な実験が示唆された。
関連論文リスト
- Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。
RNNの各層が入力分布を変換して検出精度を高める方法を示す。
同時に、精度の向上を制限するために作用する副作用も発見する。
論文 参考訳（メタデータ） (2024-04-17T12:22:54Z) - Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳（メタデータ） (2023-11-03T20:15:05Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
論文 参考訳（メタデータ） (2023-02-27T19:00:05Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。
SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。
スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文 参考訳（メタデータ） (2020-10-27T11:47:42Z) - Graph Neural Networks for Motion Planning [108.51253840181677]
低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。
RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。
臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
論文 参考訳（メタデータ） (2020-06-11T08:19:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。