論文の概要: Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization
- arxiv url: http://arxiv.org/abs/2607.18930v1
- Date: Tue, 21 Jul 2026 10:12:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.390628
- Title: Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization
- Title（参考訳）: ニューラルネットワーク近似における機能等価性と幾何学的多様性--経験的評価
- Abstract要約: ニューラルネットワーク近似の関数同値性と幾何学的多様性をいくつかの基本的な数学的関数に解析する。
この研究は、機能的に区別できないが幾何学的に多様性のあるネットワークの大きな同値類を明らかにする。
パーシモニー,推定容易性,推論効率に基づく最適モデルを特定するために,モデル選択基準を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Universal Approximation Theorem states that a neural network with a single hidden layer is sufficient to approximate any continuous univariate function on a compact domain to arbitrary error. However, the uniqueness of such neural network representations is not guaranteed, raising questions about practical identifiability. In this work, we address this concern by analyzing functional equivalence and geometric diversity of neural network approximations to a few elementary mathematical functions. The analysis includes an extensive study of single-layer neural networks and multilayer perceptrons under noisy and noise-free conditions. Beyond just network capacity, we study the geometric properties through the lens of sloppiness, characterized by the eigen spectrum of the Hessian of the cost function and the effective rank to quantify the dimensionality of parameter space. The study reveals large equivalence classes of functionally indistinguishable yet geometrically diverse networks that consistently exhibit low effective rank and structural redundancy. Finally, a model select criterion is proposed for identifying optimal models based on parsimony, ease of estimation, and inference efficiency.
- Abstract（参考訳）: 普遍近似定理(Universal Approximation Theorem)は、単一の隠蔽層を持つニューラルネットワークは、コンパクト領域上の連続単変量関数を任意の誤りに近似するのに十分であると述べている。
しかし、そのようなニューラルネットワーク表現の独自性は保証されておらず、実用的な識別可能性に関する疑問が提起される。
本研究は,ニューラルネットワーク近似の関数同値性と幾何学的多様性をいくつかの基本的な数学的関数に解析することにより,この問題に対処する。
この分析には、ノイズやノイズのない条件下での単層ニューラルネットワークと多層パーセプトロンの広範な研究が含まれている。
ネットワーク容量以外にも、コスト関数のヘッセンの固有スペクトルと、パラメータ空間の次元性を定量化するための効果的なランクが特徴であるスロピネスのレンズを通して幾何学的性質を研究する。
この研究は、機能的に区別できないが幾何的に多様なネットワークにおいて、低い有効ランクと構造的冗長性を一貫して示す大きな等価クラスを明らかにする。
最後に、パーシモニー、推定容易性、推論効率に基づく最適モデルを特定するためのモデル選択基準を提案する。
関連論文リスト
- Approximation Theory for Neural Networks: Old and New [1.6300219183960216]
普遍近似は、ニューラルネットワークの表現力に関する数学的説明を提供する。
単層ネットワークの古典的密度結果と近似誤差とネットワークサイズの関係を定量的に検討した。
Kolmogorov--Arnold Networks (KAN) の最近の開発は、代替アーキテクチャパラダイムを提供する。
論文 参考訳（メタデータ） (2026-05-20T17:42:34Z) - GRIFDIR: Graph Resolution-Invariant FEM Diffusion Models in Function Spaces over Irregular Domains [56.121725064621295]
関数空間におけるスコアベース拡散モデル(英語版)は関数値データをモデル化するための原則的なフレームワークを提供する。
しかし、実践的な実装はこれらの利点を完全に実現するのに苦労しています。
一般化された畳み込みカーネルを有限グラフカーネルとして表現する新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-05-05T08:33:52Z) - Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension [27.6052958612001]
有限個のサンプルからスパース特徴を抽出するために畳み込みアーキテクチャを用いるフレームワークを提案する。
スパース近似器は離散サンプルから安定に回収できることを示す。
また、機能学習における次元の呪いをいかに緩和するかという新しい理論的な洞察も提供する。
論文 参考訳（メタデータ） (2026-04-08T07:42:02Z) - Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。
我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。
我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
論文 参考訳（メタデータ） (2025-01-02T12:10:17Z) - Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation [8.284464143581546]
深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。
この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
論文 参考訳（メタデータ） (2024-06-08T02:01:50Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Neural Network Approximations of Compositional Functions With
Applications to Dynamical Systems [3.660098145214465]
我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。
構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。
関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
論文 参考訳（メタデータ） (2020-12-03T04:40:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。
特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
論文 参考訳（メタデータ） (2020-06-08T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。