論文の概要: Geometry of fibers of the multiplication map of deep linear neural networks

• arxiv url: http://arxiv.org/abs/2411.19920v1
• Date: Fri, 29 Nov 2024 18:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:14.953011
• Title: Geometry of fibers of the multiplication map of deep linear neural networks
• Title（参考訳）: ディープ線形ニューラルネットワークの乗算写像のファイバーの幾何学
• Authors: SImon Pepin Lehalleur, Richárd Rimányi,
• Abstract要約: 固定行列に乗算する構成可能な行列のクイバーの集合の幾何学について検討する。 我々の解は、同変コホモロジーにおけるポアンカー級数、二次整数プログラム、明示的な公式の3つの形式で表される。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We study the geometry of the algebraic set of tuples of composable matrices which multiply to a fixed matrix, using tools from the theory of quiver representations. In particular, we determine its codimension $C$ and the number $\theta$ of its top-dimensional irreducible components. Our solution is presented in three forms: a Poincar\'e series in equivariant cohomology, a quadratic integer program, and an explicit formula. In the course of the proof, we establish a surprising property: $C$ and $\theta$ are invariant under arbitrary permutations of the dimension vector. We also show that the real log-canonical threshold of the function taking a tuple to the square Frobenius norm of its product is $C/2$. These results are motivated by the study of deep linear neural networks in machine learning and Bayesian statistics (singular learning theory) and show that deep linear networks are in a certain sense ``mildly singular".
• Abstract（参考訳）: 定行列に乗じて構成可能な行列の代数的集合のタプルの幾何学を、quiver表現の理論の道具を用いて研究する。 特に、その余次元$C$と、その上次元既約成分の$\theta$を決定する。 我々の解は、同変コホモロジーにおけるポアンカー級数、二次整数プログラム、明示的な公式の3つの形式で表される。 証明の過程で、驚くべき性質を確立する:$C$ と $\theta$ は次元ベクトルの任意の置換の下で不変である。 また、その積の平方フロベニウスノルムにタプルを取る函数の真の対数正準しきい値が$C/2$であることも示している。 これらの結果は、機械学習とベイズ統計学(特異学習理論)におけるディープ線形ニューラルネットワークの研究によって動機付けられ、ディープ線形ネットワークが「ミルドリー特異」な意味で存在することを示す。

関連論文リスト

• Butson Hadamard matrices, bent sequences, and spherical codes [15.98720468046758]
  複素ユニタリの$qth$ルート上で定義される位数$n$のアダマール行列からなるデータに付随する曲がり列の概念を探求する。 特に、様々な$qle 60$と長さ$nle 21.$の構成法は、Groebner基底と固有空間計算によるシステムの分解を構成する。
  論文  参考訳（メタデータ） (2023-11-01T08:03:11Z)
• Lie Neurons: Adjoint-Equivariant Neural Networks for Semisimple Lie Algebras [5.596048634951087]
  本稿では,任意の半単純リー代数のデータを入力として取り込む同変ニューラルネットワークを提案する。 対応する群はリー代数を随伴演算として作用し、提案したネットワーク随伴-同変を導出する。 我々のフレームワークは、3次元ユークリッド空間からリー代数空間への単純な$mathrmSO(3)$-equivariantネットワークであるベクトルニューロンを一般化する。
  論文  参考訳（メタデータ） (2023-10-06T18:34:27Z)
• LU-Net: Invertible Neural Networks Based on Matrix Factorization [1.2891210250935146]
  LU-Netは、可逆ニューラルネットワーク(INN)のためのシンプルで高速なアーキテクチャである イントレピッドニューラルネットワークは、最大極大原理に従って訓練することができる。 数値実験では,複数の学術データセット上でLU-netアーキテクチャを生成モデルとして検証した。
  論文  参考訳（メタデータ） (2023-02-21T08:52:36Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Sign and Basis Invariant Networks for Spectral Graph Representation Learning [75.18802152811539]
  SignNetとBasisNetは、すべての必須対称性に不変な新しいニューラルアーキテクチャであり、したがって、原則化された方法で固有空間のコレクションを処理する。 我々のネットワークは理論的にはグラフ表現学習に強い -- 任意のスペクトルグラフ畳み込みを近似することができる。 実験により、スペクトルグラフフィルタの学習とグラフ位置エンコーディングの学習のためのネットワークの強みが示された。
  論文  参考訳（メタデータ） (2022-02-25T23:11:59Z)
• Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural Networks [0.0]
  最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。 これは機械学習の応用にとって大きな関心事かもしれない。
  論文  参考訳（メタデータ） (2022-01-13T00:48:20Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
  幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。 任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。 セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
  論文  参考訳（メタデータ） (2021-05-28T15:41:52Z)
• A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups [115.58550697886987]
  行列群の同変層を解くための完全一般的なアルゴリズムを提供する。 他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。 提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
  論文  参考訳（メタデータ） (2021-04-19T17:21:54Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。