論文の概要: The Landscape of Multi-Layer Linear Neural Network From the Perspective of Algebraic Geometry

• arxiv url: http://arxiv.org/abs/2102.04338v1
• Date: Sat, 30 Jan 2021 04:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:24:09.420838
• Title: The Landscape of Multi-Layer Linear Neural Network From the Perspective of Algebraic Geometry
• Title（参考訳）: 代数幾何学から見た多層線形ニューラルネットワークの景観
• Authors: Xiuyi Yang
• Abstract要約: ニューラルネットワークの非双対景観の明確な理解は、複雑な不完全問題である。 勾配方程式を方程式として扱うことにより、代数幾何学ツールを用いて解く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The clear understanding of the non-convex landscape of neural network is a complex incomplete problem. This paper studies the landscape of linear (residual) network, the simplified version of the nonlinear network. By treating the gradient equations as polynomial equations, we use algebraic geometry tools to solve it over the complex number field, the attained solution can be decomposed into different irreducible complex geometry objects. Then three hypotheses are proposed, involving how to calculate the loss on each irreducible geometry object, the losses of critical points have a certain range and the relationship between the dimension of each irreducible geometry object and strict saddle condition. Finally, numerical algebraic geometry is applied to verify the rationality of these three hypotheses which further clarify the landscape of linear network and the role of residual connection.
• Abstract（参考訳）: ニューラルネットワークの非凸景観の明確な理解は、複雑な不完全問題である。 本稿では,非線形ネットワークの簡易バージョンである線形(残留)ネットワークの景観について検討する。 勾配方程式を多項式方程式として扱うことにより、複素数体上の代数幾何学ツールを用いて、達成された解を異なる既約複素幾何学オブジェクトに分解することができる。 次に、3つの仮説が提案され、各既約幾何対象の損失を計算する方法、臨界点の損失が一定の範囲を持ち、各既約幾何学対象の次元と厳密な鞍条件との関係を含む。 最後に,これら3つの仮説の合理性を検証するために数値代数幾何学を適用し,線形ネットワークの景観と残留接続の役割をさらに明らかにした。

関連論文リスト

• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Fuse, Reason and Verify: Geometry Problem Solving with Parsed Clauses from Diagram [78.79651421493058]
  平面幾何学的問題解法 (PGPS) のニューラルネットワークモデルを提案し, モーダル融合, 推論過程, 知識検証の3つの重要なステップについて述べる。 推論のために、幾何学的推論過程を記述するための説明可能な解プログラムを設計し、自己限定デコーダを用いて解プログラムを自動回帰的に生成する。 また, PGPS9Kと呼ばれる大規模幾何学的問題データセットを構築し, テキスト節, 解法プログラム, 関連知識解決器の詳細なアノテーションを含む。
  論文  参考訳（メタデータ） (2024-07-10T02:45:22Z)
• Geometry-Informed Neural Networks [15.27249535281444]
  幾何インフォームドニューラルネットワーク(GINN)を導入する。 GINNは、データなしで形状生成ニューラルネットワークをトレーニングするためのフレームワークである。 GINNをいくつかの検証問題と現実的な3Dエンジニアリング設計問題に適用する。
  論文  参考訳（メタデータ） (2024-02-21T18:50:12Z)
• Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
  本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。 提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。 本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
  論文  参考訳（メタデータ） (2024-02-08T17:57:59Z)
• Algebraic Complexity and Neurovariety of Linear Convolutional Networks [0.0]
  線形畳み込みネットワークを1次元および任意のストライドで検討する。 共通零点が対応する神経多様体のザリスキー閉包に対応する方程式を生成する。 このようなネットワークの最適化におけるすべての複素臨界点の数は、セグレ多様体の一般的なユークリッド距離と等しいことが判明した。
  論文  参考訳（メタデータ） (2024-01-29T23:00:15Z)
• Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
  一次元畳み込み層を有する線形ネットワークの幾何学について検討する。 我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-04-12T10:15:17Z)
• Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
  データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。 本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
  論文  参考訳（メタデータ） (2022-08-02T01:15:39Z)
• Differential Geometry in Neural Implicits [0.6198237241838558]
  トライアングルメッシュの離散微分幾何とニューラル暗黙曲面の連続微分幾何を橋渡しするニューラル暗黙の枠組みを導入する。 ニューラルネットワークの微分可能特性と三角形メッシュの離散幾何学を利用して、ニューラルネットワークをニューラルネットワークの暗黙関数のゼロレベル集合として近似する。
  論文  参考訳（メタデータ） (2022-01-23T13:40:45Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective [54.1171355815052]
  この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
  論文  参考訳（メタデータ） (2020-02-20T16:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。