論文の概要: Analyzing Populations of Neural Networks via Dynamical Model Embedding
- arxiv url: http://arxiv.org/abs/2302.14078v1
- Date: Mon, 27 Feb 2023 19:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 19:07:51.108733
- Title: Analyzing Populations of Neural Networks via Dynamical Model Embedding
- Title（参考訳）: 動的モデル埋め込みによるニューラルネットワークの人口分析
- Authors: Jordan Cotler, Kai Sheng Tai, Felipe Hern\'andez, Blake Elias, David
Sussillo
- Abstract要約: ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
- 参考スコア（独自算出の注目度）: 10.455447557943463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A core challenge in the interpretation of deep neural networks is identifying
commonalities between the underlying algorithms implemented by distinct
networks trained for the same task. Motivated by this problem, we introduce
DYNAMO, an algorithm that constructs low-dimensional manifolds where each point
corresponds to a neural network model, and two points are nearby if the
corresponding neural networks enact similar high-level computational processes.
DYNAMO takes as input a collection of pre-trained neural networks and outputs a
meta-model that emulates the dynamics of the hidden states as well as the
outputs of any model in the collection. The specific model to be emulated is
determined by a model embedding vector that the meta-model takes as input;
these model embedding vectors constitute a manifold corresponding to the given
population of models. We apply DYNAMO to both RNNs and CNNs, and find that the
resulting model embedding spaces enable novel applications: clustering of
neural networks on the basis of their high-level computational processes in a
manner that is less sensitive to reparameterization; model averaging of several
neural networks trained on the same task to arrive at a new, operable neural
network with similar task performance; and semi-supervised learning via
optimization on the model embedding space. Using a fixed-point analysis of
meta-models trained on populations of RNNs, we gain new insights into how
similarities of the topology of RNN dynamics correspond to similarities of
their high-level computational processes.
- Abstract（参考訳）: ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのために訓練された異なるネットワークによって実装された基盤となるアルゴリズム間の共通性を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構成するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
dynamoは事前学習されたニューラルネットワークのコレクションを入力として、隠れた状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
エミュレートされる特定のモデルはメタモデルが入力として取るモデル埋め込みベクトルによって決定され、これらのモデル埋め込みベクトルは与えられたモデルの人口に対応する多様体を構成する。
我々は、dynamoをrnnとcnnの両方に適用し、その結果得られるモデル埋め込み空間は、再パラメータ化に敏感な方法で、高レベルな計算プロセスに基づくニューラルネットワークのクラスタリング、同じタスクで訓練された複数のニューラルネットワークのモデル平均化、同様のタスクパフォーマンスを持つ新しい操作可能なニューラルネットワークへの到達、モデル埋め込み空間の最適化による半教師付き学習という、新しい応用が可能であることを見出した。
RNNの集団で訓練されたメタモデルの固定点解析を用いて、RNNのトポロジの類似性とその高レベルの計算プロセスの類似性について新たな知見を得る。
関連論文リスト
- Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。
実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
論文 参考訳（メタデータ） (2024-05-18T07:32:02Z) - Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。
近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文 参考訳（メタデータ） (2024-03-19T05:37:26Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。
ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
論文 参考訳（メタデータ） (2024-01-14T02:30:19Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。
我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文 参考訳（メタデータ） (2022-11-26T20:24:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。