論文の概要: The Landscape of Multi-Layer Linear Neural Network From the Perspective
of Algebraic Geometry
- arxiv url: http://arxiv.org/abs/2102.04338v1
- Date: Sat, 30 Jan 2021 04:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:24:09.420838
- Title: The Landscape of Multi-Layer Linear Neural Network From the Perspective
of Algebraic Geometry
- Title(参考訳): 代数幾何学から見た多層線形ニューラルネットワークの景観
- Authors: Xiuyi Yang
- Abstract要約: ニューラルネットワークの非双対景観の明確な理解は、複雑な不完全問題である。
勾配方程式を方程式として扱うことにより、代数幾何学ツールを用いて解く。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The clear understanding of the non-convex landscape of neural network is a
complex incomplete problem. This paper studies the landscape of linear
(residual) network, the simplified version of the nonlinear network. By
treating the gradient equations as polynomial equations, we use algebraic
geometry tools to solve it over the complex number field, the attained solution
can be decomposed into different irreducible complex geometry objects. Then
three hypotheses are proposed, involving how to calculate the loss on each
irreducible geometry object, the losses of critical points have a certain range
and the relationship between the dimension of each irreducible geometry object
and strict saddle condition. Finally, numerical algebraic geometry is applied
to verify the rationality of these three hypotheses which further clarify the
landscape of linear network and the role of residual connection.
- Abstract(参考訳): ニューラルネットワークの非凸景観の明確な理解は、複雑な不完全問題である。
本稿では,非線形ネットワークの簡易バージョンである線形(残留)ネットワークの景観について検討する。
勾配方程式を多項式方程式として扱うことにより、複素数体上の代数幾何学ツールを用いて、達成された解を異なる既約複素幾何学オブジェクトに分解することができる。
次に、3つの仮説が提案され、各既約幾何対象の損失を計算する方法、臨界点の損失が一定の範囲を持ち、各既約幾何学対象の次元と厳密な鞍条件との関係を含む。
最後に,これら3つの仮説の合理性を検証するために数値代数幾何学を適用し,線形ネットワークの景観と残留接続の役割をさらに明らかにした。
関連論文リスト
- Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。
提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。
本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
論文 参考訳(メタデータ) (2024-02-08T17:57:59Z) - Algebraic Complexity and Neurovariety of Linear Convolutional Networks [0.0]
線形畳み込みネットワークを1次元および任意のストライドで検討する。
共通零点が対応する神経多様体のザリスキー閉包に対応する方程式を生成する。
このようなネットワークの最適化におけるすべての複素臨界点の数は、セグレ多様体の一般的なユークリッド距離と等しいことが判明した。
論文 参考訳(メタデータ) (2024-01-29T23:00:15Z) - Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
一次元畳み込み層を有する線形ネットワークの幾何学について検討する。
我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
論文 参考訳(メタデータ) (2023-04-12T10:15:17Z) - Topology optimization with physics-informed neural networks: application
to noninvasive detection of hidden geometries [0.40611352512781856]
本稿では,隠れた幾何学構造を検出するためのPINNに基づくトポロジ最適化フレームワークを提案する。
非線形弾性体および非線形弾性体における隠れヴォイドおよび包有物の数,位置,形状を検出することにより,我々の枠組みを検証した。
論文 参考訳(メタデータ) (2023-03-13T12:44:32Z) - Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。
本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
論文 参考訳(メタデータ) (2022-08-02T01:15:39Z) - Differential Geometry in Neural Implicits [0.6198237241838558]
トライアングルメッシュの離散微分幾何とニューラル暗黙曲面の連続微分幾何を橋渡しするニューラル暗黙の枠組みを導入する。
ニューラルネットワークの微分可能特性と三角形メッシュの離散幾何学を利用して、ニューラルネットワークをニューラルネットワークの暗黙関数のゼロレベル集合として近似する。
論文 参考訳(メタデータ) (2022-01-23T13:40:45Z) - Physics informed neural networks for continuum micromechanics [68.8204255655161]
近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。
グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。
実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
論文 参考訳(メタデータ) (2021-10-14T14:05:19Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳(メタデータ) (2021-05-25T01:28:54Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳(メタデータ) (2021-02-16T04:07:13Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳(メタデータ) (2020-04-15T04:29:34Z) - On the Decision Boundaries of Neural Networks: A Tropical Geometry
Perspective [54.1171355815052]
この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。
我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
論文 参考訳(メタデータ) (2020-02-20T16:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。