論文の概要: Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles

• arxiv url: http://arxiv.org/abs/2006.13687v2
• Date: Sun, 30 Aug 2020 20:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 12:48:08.606760
• Title: Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
• Title（参考訳）: 共役行列アンサンブルによるディープニューラルネットワークの等価性
• Authors: Mehmet S\"uzen
• Abstract要約: ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。 経験的証拠は、ニューラルアーキテクチャのスペクトル密度とそれに対応する共役円形アンサンブルの差が消えているという現象を裏付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A numerical approach is developed for detecting the equivalence of deep learning architectures. The method is based on generating Mixed Matrix Ensembles (MMEs) out of deep neural network weight matrices and {\it conjugate circular ensemble} matching the neural architecture topology. Following this, the empirical evidence supports the {\it phenomenon} that difference between spectral densities of neural architectures and corresponding {\it conjugate circular ensemble} are vanishing with different decay rates at the long positive tail part of the spectrum i.e., cumulative Circular Spectral Difference (CSD). This finding can be used in establishing equivalences among different neural architectures via analysis of fluctuations in CSD. We investigated this phenomenon for a wide range of deep learning vision architectures and with circular ensembles originating from statistical quantum mechanics. Practical implications of the proposed method for artificial and natural neural architectures discussed such as the possibility of using the approach in Neural Architecture Search (NAS) and classification of biological neural networks.
• Abstract（参考訳）: ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。 この方法は、ディープニューラルネットワークの重量行列からミックスマトリックスアンサンブル(MME)を生成することと、ニューラルネットワークトポロジに一致する共役円形アンサンブルを生成することに基づいている。 これに続いて、実験的な証拠は、ニューラルネットワークのスペクトル密度と対応するit共役円形アンサンブルとの差がスペクトルの長い正の尾部、すなわち累積円スペクトル差(csd)で異なる減衰率で消滅する、という「it現象」を裏付けている。 この発見は、CDDのゆらぎの分析を通じて、異なるニューラルネットワークアーキテクチャ間の等価性を確立するのに利用できる。 我々は、この現象を、幅広い深層学習視覚アーキテクチャと、統計量子力学から派生した円形アンサンブルを用いて研究した。 提案手法の実践的意味は,ニューラルネットワーク探索(NAS)におけるアプローチの適用可能性や生物学的ニューラルネットワークの分類などである。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis [7.660368798066376]
  本稿では、2つの系を力学のレベルで比較する新しい類似度指標を提案する。 本手法は,ニューラルネットワークにおける計算の本質的時間構造を比較検討するための扉を開く。
  論文  参考訳（メタデータ） (2023-06-16T20:11:38Z)
• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
  偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。 私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
  論文  参考訳（メタデータ） (2021-07-30T16:42:45Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。