論文の概要: The Geometry of Limits in ReLU Function Spaces

• arxiv url: http://arxiv.org/abs/2610.33779v1
• Date: Sat, 24 Oct 2026 16:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.444784
• Title: The Geometry of Limits in ReLU Function Spaces
• Title（参考訳）: ReLU関数空間における極限の幾何学
• Abstract要約: 固定アーキテクチャのReLUニューラルネットワークにより実現された関数空間の閉鎖について検討する。 固定スカラー出力ReLUアーキテクチャの非閉性は、必然的にエンフェローアップ残基を含む。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the geometry and closure of spaces of functions realized by ReLU neural networks of fixed architecture. We first establish a general result about limits of continuous piecewise-linear (CPWL) functions: the minimum number of convex sets on which a function is affine is lower semicontinuous under pointwise convergence. The proof uses a connection to hypergraph coloring and a compactness principle, and yields quantitative bounds on the polyhedral complexity of continuous limits. We then characterize the functions realizable by shallow ReLU networks with vector-valued outputs, extending a known scalar-valued characterization. Using this and the geometry of limiting hyperplane arrangements, we prove that fixed-width shallow scalar ReLU realization spaces are closed in the weighted supremum norm on the whole input space. In contrast, we construct an explicit sequence of networks with architecture $(2,3,2\mid1)$ whose limit is not realizable by that architecture. Non-closedness holds both globally in weighted supremum norm and under uniform convergence on compact sets with nonempty interior, disproving a conjecture of Petersen, Raslan, and Voigtlaender. Finally, we show that non-closedness for a fixed scalar-output ReLU architecture necessarily involves a \emph{blow-up residue}, in which diverging output coefficients amplify an emerging linear dependence among hidden features. Together, these results provide geometric and functional-analytic tools for studying the boundaries and degenerations of ReLU realization spaces.
• Abstract（参考訳）: 固定アーキテクチャのReLUニューラルネットワークにより実現された関数空間の幾何学と閉包について検討する。 まず、連続ピースワイズ線形関数(CPWL)の極限に関する一般結果を確立する: 関数がアフィンである凸集合の最小個数は、点収束の下で半連続である。 この証明は、ハイパーグラフ色付けとコンパクト性原理への接続を使用し、連続極限の多面体複雑性に定量的な境界を与える。 次に、ベクトル値の出力を持つ浅いReLUネットワークで実現可能な関数を特徴付け、既知のスカラー値の特性を拡張した。 これと超平面配置を制限する幾何学を用いて、入力空間全体の重み付き超ノルムにおいて、固定幅浅スカラーReLU実現空間が閉であることを証明する。 対照的に、アーキテクチャ $(2,3,2\mid1)$ の明示的なネットワーク列を構築し、その極限はそのアーキテクチャによって実現できない。 非閉性は、全世界的に重み付き超ノルムと、空でない内部を持つコンパクト集合上の一様収束の両方を持ち、ピーターセン、ラスラン、ヴォイグトレンダーの予想を反証する。 最後に、固定スカラー出力 ReLU アーキテクチャの非閉性は、出力係数のばらつきが隠れた特徴間の線形依存を増幅する \emph{blow-up residue} を必ず含むことを示す。 これらの結果は、ReLU実現空間の境界と退化の研究のための幾何学的および機能的分析ツールを提供する。

関連論文リスト

• Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity [19.53343888629072]
  我々は、深部完全連結ニューラルネットワークの統一関数空間理論を開発する。 私たちのフレームワークは、ディープネットワークに意味のある機能的複雑性の概念を提供します。 任意の次元の深いノルム制御されたReLU関数は、任意の方向に沿って高周波数を示すことができないことを示す。
  論文  参考訳（メタデータ） (2026-07-06T18:29:35Z)
• Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks [20.012790053758078]
  最小限の対角成分しか持たない低ランク層の拡大はユニバーサル近似に到達するのに十分であることを示す。 また、DLoRニューラルネットワークが一般活性化関数のユニバーサル近似定理を完全に復元していることも証明した。
  論文  参考訳（メタデータ） (2026-05-07T04:21:04Z)
• Trajectory-Restricted Optimization Conditions and Geometry-Aware Linear Convergence [0.764671395172401]
  局所化幾何正則性に基づく線形収束のための軌道制限フレームワークを開発する。 古典的な収束保証は、これらの局所的な条件の下で拡張されることを示す。 我々の研究は、能動集合や多様体の同定後の高速局所収束のための幾何学的定量化を提供する。
  論文  参考訳（メタデータ） (2026-04-18T17:02:06Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Analytical bounds on the local Lipschitz constants of affine-ReLU functions [0.0]
  Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。 ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。 我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
  論文  参考訳（メタデータ） (2020-08-14T00:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。