Fugu-MT 論文翻訳(概要): Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture

論文の概要: Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture

arxiv url: http://arxiv.org/abs/2205.11786v2
Date: Wed, 7 Jun 2023 22:20:05 GMT
ステータス: 処理完了
システム内更新日: 2023-06-09 20:48:44.799985
Title: Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture
Title（参考訳）: 有向非巡回グラフ構造を持つ一般ニューラルネットワークの線形性への遷移
Authors: Libin Zhu, Chaoyue Liu, Mikhail Belkin
Abstract要約: 我々は、任意の有向非巡回グラフに対応するフィードフォワードニューラルネットワークが、その"幅"が無限大に近づくにつれて、線形性へ遷移することを示す。本研究は,線形性への遷移を基礎とする数学的構造を同定し,ニューラルネットワークカーネルの線形性や整合性への遷移を特徴付けることを目的とした最近の多くの研究を一般化するものである。
参考スコア（独自算出の注目度）: 20.44438519046223
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper we show that feedforward neural networks corresponding to arbitrary directed acyclic graphs undergo transition to linearity as their "width" approaches infinity. The width of these general networks is characterized by the minimum in-degree of their neurons, except for the input and first layers. Our results identify the mathematical structure underlying transition to linearity and generalize a number of recent works aimed at characterizing transition to linearity or constancy of the Neural Tangent Kernel for standard architectures.
Abstract（参考訳）: 本稿では,任意の有向非巡回グラフに対応するフィードフォワードニューラルネットワークが,その「幅」が無限大に近づくにつれて線形性へ遷移することを示す。これらの一般的なネットワークの幅は、入力層と第1層を除いて、ニューロンの最小緯度で特徴づけられる。本研究は,線形性への遷移を基礎とする数学的構造を明らかにし,ニューラルネットワークカーネルの線形性や一貫性への遷移を特徴付けることを目的とした最近の研究を一般化するものである。

関連論文リスト

Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
論文参考訳（メタデータ） (2023-09-08T02:44:37Z)
A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
論文参考訳（メタデータ） (2022-09-27T08:14:00Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Transition to Linearity of Wide Neural Networks is an Emerging Property of Assembling Weak Models [20.44438519046223]
線形出力層を持つ広帯域ニューラルネットワークは、ニアリニアであり、ニアコンスタント・ニューラル・タンジェント・カーネル(NTK)を有することが示されている。広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
論文参考訳（メタデータ） (2022-03-10T01:27:01Z)
Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文参考訳（メタデータ） (2022-02-28T15:08:48Z)
Sheaf Neural Networks [2.4366811507669124]
本稿では, グラフ畳み込みネットワークを一般化し, このクラスに基づく拡散操作を一般化する。その結果,ノード間の関係が非対称で署名された領域におけるグラフ畳み込みネットワークよりも優れていることを示す。
論文参考訳（メタデータ） (2020-12-08T01:19:48Z)
A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文参考訳（メタデータ） (2020-10-06T06:08:35Z)
Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文参考訳（メタデータ） (2020-10-06T01:20:27Z)
On the linearity of large non-linear models: when and why the tangent kernel is constant [20.44438519046223]
我々は、その幅が無限に近づくにつれて、あるニューラルネットワークの線形性への移行という驚くべき現象に光を当てた。モデルの線形性への遷移と等価に、ネットワークのヘッセン行列のノルムのスケーリング特性から、(神経)接核(NTK)の定数が生じることを示す。
論文参考訳（メタデータ） (2020-10-02T16:44:45Z)
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs [81.12344211998635]
メッシュ上の畳み込みを定義する一般的なアプローチは、それらをグラフとして解釈し、グラフ畳み込みネットワーク(GCN)を適用することである。本稿では、GCNを一般化して異方性ゲージ同変カーネルを適用するGauge Equivariant Mesh CNNを提案する。本実験は,従来のGCNおよび他の手法と比較して,提案手法の表現性を大幅に向上することを示した。
論文参考訳（メタデータ） (2020-03-11T17:21:15Z)
On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
論文参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。