論文の概要: Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
- arxiv url: http://arxiv.org/abs/2607.05546v1
- Date: Mon, 06 Jul 2026 18:29:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.301588
- Title: Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
- Title（参考訳）: 深部ニューラル変動空間:深さと複雑さの統一的視点
- Authors: Julia Nakhleh, Robert D. Nowak,
- Abstract要約: 我々は、深部完全連結ニューラルネットワークの統一関数空間理論を開発する。
私たちのフレームワークは、ディープネットワークに意味のある機能的複雑性の概念を提供します。
任意の次元の深いノルム制御されたReLU関数は、任意の方向に沿って高周波数を示すことができないことを示す。
- 参考スコア（独自算出の注目度）: 19.53343888629072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a unified function space theory of deep fully connected neural networks. Functions in our spaces are defined recursively as $\ell^1$-bounded linear combinations of activated functions from preceding layers, with a dictionary of affine functions at the first layer. Unlike existing theories that are largely specialized to homogeneous activations such as the ReLU, our framework provides a meaningful notion of functional complexity for deep networks with a broad range of homogeneous and non-homogeneous activation functions commonly used in practice. This simple construction unites several seemingly disparate ideas from the literature, including norm-based complexity bounds and variational characterizations of depth, and facilitates novel analyses of what kinds of functions deep norm-constrained networks can represent. To this end, we prove a novel representer theorem for our spaces and establish novel function-space complexity bounds showing that the associated function classes remain qualitatively small at arbitrary depth. In the univariate ReLU case, we prove a "depth saturation" result: depth in this setting yields only a small constant rescaling of the function class, with no added functional diversity. As a consequence, we show that deep norm-controlled ReLU functions in any dimension cannot exhibit high frequencies along any direction. This finding reveals that some commonly cited expressivity benefits of depth disappear once network complexity is controlled by an appropriate function space norm, rather than parameter count or other representational costs that permit compounded rescaling across layers. Overall, our results illustrate how a function space perspective yields new structural insights into the relationship between depth and complexity.
- Abstract（参考訳）: 我々は、深部完全連結ニューラルネットワークの統一関数空間理論を開発する。
我々の空間内の関数は、前層からの活性化関数の$\ell^1$-bounded linear combinationsとして再帰的に定義され、第1層におけるアフィン関数の辞書が定義される。
ReLUのようなホモジニアス活性化に主に特化している既存の理論とは異なり、我々のフレームワークは、実際に一般的に使用される多種多様なホモジニアスおよび非ホモジニアス活性化関数を持つディープネットワークに対して、機能的複雑性の有意義な概念を提供する。
この単純な構成は、ノルムベースの複雑性境界や深さの変分的特徴など、文献から明らかないくつかの異なるアイデアを結合し、ディープノルム制約ネットワークが表現できる機能の種類に関する新しい分析を促進する。
この目的のために、我々の空間に対する新しい表現定理を証明し、関連する関数類が任意の深さで定性的に小さいことを示す新しい関数空間複雑性境界を確立する。
単変量 ReLU の場合、「深度飽和」の結果が証明される: この設定の深さは関数クラスの小さな定数再スケーリングしか得られず、機能的多様性は加えられない。
その結果、任意の次元の深いノルム制御されたReLU関数は、任意の方向に沿って高い周波数を示すことができないことがわかった。
この発見は、ネットワークの複雑さがパラメータ数や他の層をまたぐ複雑な再スケーリングを可能にする表現コストよりも、適切な関数空間ノルムによって制御されると、一般的に引用される深さの表現率の利点が消えることを明らかにする。
全体として、関数空間のパースペクティブが、深さと複雑性の関係に関する新しい構造的洞察をいかに生み出すかを示す。
関連論文リスト
- GRIFDIR: Graph Resolution-Invariant FEM Diffusion Models in Function Spaces over Irregular Domains [56.121725064621295]
関数空間におけるスコアベース拡散モデル(英語版)は関数値データをモデル化するための原則的なフレームワークを提供する。
しかし、実践的な実装はこれらの利点を完全に実現するのに苦労しています。
一般化された畳み込みカーネルを有限グラフカーネルとして表現する新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-05-05T08:33:52Z) - Function Forms of Simple ReLU Networks with Random Hidden Weights [1.2289361708127877]
無限幅限界における2層ReLUニューラルネットワークの関数空間ダイナミクスについて検討する。
ステアリング学習におけるフィッシャー情報行列の役割を強調した。
この研究は、広いニューラルネットワークを理解するための堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2025-05-23T13:53:02Z) - Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。
活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。
任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文 参考訳（メタデータ） (2023-11-07T11:50:25Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Bayes Complexity of Learners vs Overfitting [4.873362301533825]
関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。
従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。
上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
論文 参考訳（メタデータ） (2023-03-13T13:07:02Z) - Neural Set Function Extensions: Learning with Discrete Functions in High
Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。
我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。
我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文 参考訳（メタデータ） (2022-08-08T10:58:02Z) - On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。
本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。
また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文 参考訳（メタデータ） (2021-07-01T11:36:32Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。