論文の概要: The Geometry of the Set of Equivalent Linear Neural Networks
- arxiv url: http://arxiv.org/abs/2404.14855v1
- Date: Tue, 23 Apr 2024 09:20:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 14:41:16.076069
- Title: The Geometry of the Set of Equivalent Linear Neural Networks
- Title（参考訳）: 等価線形ニューラルネットワークの集合の幾何学
- Authors: Jonathan Richard Shewchuk, Sagnik Bhattacharya,
- Abstract要約: 線形ニューラルネットワークが同じ線形変換を$W$で計算する全重みベクトルの集合の幾何学と位相を特徴づける。
線形ニューラルネットワークの各層をサブスペースの集合に分解し、ニューラルネットワークを通して情報がどのように流れるかを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We characterize the geometry and topology of the set of all weight vectors for which a linear neural network computes the same linear transformation $W$. This set of weight vectors is called the fiber of $W$ (under the matrix multiplication map), and it is embedded in the Euclidean weight space of all possible weight vectors. The fiber is an algebraic variety that is not necessarily a manifold. We describe a natural way to stratify the fiber--that is, to partition the algebraic variety into a finite set of manifolds of varying dimensions called strata. We call this set of strata the rank stratification. We derive the dimensions of these strata and the relationships by which they adjoin each other. Although the strata are disjoint, their closures are not. Our strata satisfy the frontier condition: if a stratum intersects the closure of another stratum, then the former stratum is a subset of the closure of the latter stratum. Each stratum is a manifold of class $C^\infty$ embedded in weight space, so it has a well-defined tangent space and normal space at every point (weight vector). We show how to determine the subspaces tangent to and normal to a specified stratum at a specified point on the stratum, and we construct elegant bases for those subspaces. To help achieve these goals, we first derive what we call a Fundamental Theorem of Linear Neural Networks, analogous to what Strang calls the Fundamental Theorem of Linear Algebra. We show how to decompose each layer of a linear neural network into a set of subspaces that show how information flows through the neural network. Each stratum of the fiber represents a different pattern by which information flows (or fails to flow) through the neural network. The topology of a stratum depends solely on this decomposition. So does its geometry, up to a linear transformation in weight space.
- Abstract（参考訳）: 線形ニューラルネットワークが同じ線形変換を$W$で計算する全重みベクトルの集合の幾何学と位相を特徴づける。
この重みベクトルの集合は$W$(行列乗法写像の下で)のファイバーと呼ばれ、すべての可能な重みベクトルのユークリッド重み空間に埋め込まれる。
ファイバーは代数多様体であり、必ずしも多様体ではない。
ファイバーを成層化する自然な方法、すなわち代数多様体を成層と呼ばれる様々な次元の多様体の有限集合に分割する方法について述べる。
私たちはこの階層を階級階層と呼ぶ。
我々は、これらの層とそれらが互いに随伴する関係の次元を導出する。
層は解離するが、閉鎖はしない。
我々の成層はフロンティア条件を満たす:もし成層が他の成層を交差するならば、前の成層は後者の成層を閉鎖する部分である。
各層は、重み空間に埋め込まれたクラス$C^\infty$の多様体であるため、すべての点(重みベクトル)において、よく定義された接空間と正規空間を持つ。
我々は、その成層上の特定の点において、指定された成層に対して接かつ正規に接する部分空間を決定する方法を示し、それらの部分空間に対してエレガントな基底を構築する。
これらの目的を達成するために、我々はまず線形ニューラルネットワークの基本定理(英語版)と呼ばれるものを導出し、それはStrangが線形代数の基本定理(英語版)と呼ぶものに似ている。
線形ニューラルネットワークの各層をサブスペースの集合に分解し、ニューラルネットワークを通して情報がどのように流れるかを示す。
ファイバーの各層は、情報がニューラルネットワークを介して流れる(または流れに失敗する)異なるパターンを表す。
成層の位相は、この分解にのみ依存する。
また、その幾何学はウェイト空間の線型変換にまで達する。
関連論文リスト
- Fast computation of permutation equivariant layers with the partition
algebra [0.0]
入力の置換に不変あるいは不変の線形ニューラルネットワーク層は、現代のディープラーニングアーキテクチャのコアビルディングブロックを形成する。
例えば、DeepSetのレイヤや、トランスフォーマーの注目ブロックやグラフニューラルネットワークで発生する線形レイヤなどがある。
論文 参考訳（メタデータ） (2023-03-10T21:13:12Z) - How Jellyfish Characterise Alternating Group Equivariant Neural Networks [0.0]
学習可能で線型で$A_n$-equivariantな層関数の基底は、そのようなテンソルパワー空間の間の$mathbbRn$の標準基底である。
また,本手法が局所対称性に同値なニューラルネットワークの構築にどのように一般化するかについても述べる。
論文 参考訳（メタデータ） (2023-01-24T17:39:10Z) - Algorithmic Determination of the Combinatorial Structure of the Linear
Regions of ReLU Neural Networks [0.0]
正準多面体のすべての次元の領域と面を決定する。
この全標準構造を計算するアルゴリズムを提案する。
得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
論文 参考訳（メタデータ） (2022-07-15T18:36:12Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。
非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。
我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
論文 参考訳（メタデータ） (2022-01-28T07:31:19Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳（メタデータ） (2021-12-17T11:43:30Z) - A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。
本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文 参考訳（メタデータ） (2020-10-06T06:08:35Z) - From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing
Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。
次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。
最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文 参考訳（メタデータ） (2020-07-15T03:21:35Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳（メタデータ） (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。