Fugu-MT 論文翻訳(概要): On the Equivalence between Implicit and Explicit Neural Networks: A High-dimensional Viewpoint

論文の概要: On the Equivalence between Implicit and Explicit Neural Networks: A High-dimensional Viewpoint

arxiv url: http://arxiv.org/abs/2308.16425v1
Date: Thu, 31 Aug 2023 03:28:43 GMT
ステータス: 処理完了
システム内更新日: 2023-09-01 17:49:10.620105
Title: On the Equivalence between Implicit and Explicit Neural Networks: A High-dimensional Viewpoint
Title（参考訳）: 入射型ニューラルネットワークと明示型ニューラルネットワークの等価性について:高次元的視点から
Authors: Zenan Ling, Zhenyu Liao, Robert C. Qiu
Abstract要約: 暗黙のニューラルネットワークは様々なタスクで顕著な成功を収めた。暗黙的ネットワークと明示的ネットワークの接続と差異に関する理論的分析が欠如している。
参考スコア（独自算出の注目度）: 6.790383517643622
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Implicit neural networks have demonstrated remarkable success in various tasks. However, there is a lack of theoretical analysis of the connections and differences between implicit and explicit networks. In this paper, we study high-dimensional implicit neural networks and provide the high dimensional equivalents for the corresponding conjugate kernels and neural tangent kernels. Built upon this, we establish the equivalence between implicit and explicit networks in high dimensions.
Abstract（参考訳）: 暗黙のニューラルネットワークは様々なタスクで顕著な成功を収めた。しかし、暗黙的ネットワークと暗黙的ネットワーク間の接続と差異に関する理論的分析が欠如している。本稿では,高次元の暗黙的ニューラルネットワークを研究し,対応する共役核と神経接核の高次元等価性を提供する。これに基づいて,高次元における暗黙的ネットワークと明示的ネットワークの等価性を確立する。

関連論文リスト

The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
論文参考訳（メタデータ） (2023-10-28T15:04:53Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Deep Neural Networks as Complex Networks [1.704936863091649]
我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
論文参考訳（メタデータ） (2022-09-12T16:26:04Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文参考訳（メタデータ） (2022-03-30T21:47:32Z)
On neural network kernels and the storage capacity problem [16.244541005112747]
広層木状ニューラルネットワークにおける記憶容量問題と,広層ニューラルネットワークのカーネル限界に関する文献の急速な発展との間にある関係を整理する。
論文参考訳（メタデータ） (2022-01-12T19:47:30Z)
NFT-K: Non-Fungible Tangent Kernels [23.93508901712177]
我々は、ディープニューラルネットワークの各層を個別にモデル化する複数のニューラルネットワークカーネルの組み合わせとして、新しいネットワークを開発する。 2つのデータセット上でこのモデルの解釈可能性を示し、複数のカーネルモデルが層と予測の間の相互作用を解明することを示した。
論文参考訳（メタデータ） (2021-10-11T00:35:47Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。ここでは,QNN が DNN と同じ表現性を持つことを示す。また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文参考訳（メタデータ） (2020-11-03T17:20:43Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。