論文の概要: Toric geometry of ReLU neural networks

• arxiv url: http://arxiv.org/abs/2509.05894v1
• Date: Sun, 07 Sep 2025 02:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:26.990478
• Title: Toric geometry of ReLU neural networks
• Title（参考訳）: ReLUニューラルネットワークのトーリック幾何学
• Authors: Yaoying Fu,
• Abstract要約: トーリック幾何学とReLUニューラルネットワークの接続を確立する。 この研究は、ReLUニューラルネットワークの熱帯幾何学とトーリック幾何学の関連も明らかにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a continuous finitely piecewise linear function $f:\mathbb{R}^{n_0} \to \mathbb{R}$ and a fixed architecture $(n_0,\ldots,n_k;1)$ of feedforward ReLU neural networks, the exact function realization problem is to determine when some network with the given architecture realizes $f$. To develop a systematic way to answer these questions, we establish a connection between toric geometry and ReLU neural networks. This approach enables us to utilize numerous structures and tools from algebraic geometry to study ReLU neural networks. Starting with an unbiased ReLU neural network with rational weights, we define the ReLU fan, the ReLU toric variety, and the ReLU Cartier divisor associated with the network. This work also reveals the connection between the tropical geometry and the toric geometry of ReLU neural networks. As an application of the toric geometry framework, we prove a necessary and sufficient criterion of functions realizable by unbiased shallow ReLU neural networks by computing intersection numbers of the ReLU Cartier divisor and torus-invariant curves.
• Abstract（参考訳）: 連続有限分割線型関数 $f:\mathbb{R}^{n_0} \to \mathbb{R}$ と固定アーキテクチャ $(n_0,\ldots,n_k;1) のフィードフォワード ReLU ニューラルネットワークが与えられたとき、正確な関数実現問題は、与えられたアーキテクチャのあるネットワークが$f$を実現できるかどうかを決定することである。 これらの質問に答える体系的な方法を開発するために、トーリック幾何学とReLUニューラルネットワークの接続を確立する。 このアプローチにより、代数幾何学から多くの構造やツールを利用でき、ReLUニューラルネットワークを研究できる。 有理重みを持つ非バイアスのReLUニューラルネットワークから始めると、ネットワークに付随するReLUファン、ReLUトーリック多様体、およびReLUカーティエ因子を定義する。 この研究は、ReLUニューラルネットワークの熱帯幾何学とトーリック幾何学の関連も明らかにしている。 トリック幾何フレームワークの適用として、ReLUカーティエ因子とトーラス不変曲線の交叉数を計算することにより、未バイアスの浅いReLUニューラルネットワークによって実現可能な関数の必要十分基準を証明した。

関連論文リスト

• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.31598634565049]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
  本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。 我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
  論文  参考訳（メタデータ） (2021-05-07T16:18:22Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。