論文の概要: Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension
- arxiv url: http://arxiv.org/abs/2604.06774v1
- Date: Wed, 08 Apr 2026 07:42:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.403856
- Title: Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension
- Title（参考訳）: 非線形関数に対するスパースアウェアニューラルネットワーク-次元の指数依存性の緩和
- Authors: Jianfei Li, Shuo Huang, Han Feng, Ding-Xuan Zhou, Gitta Kutyniok,
- Abstract要約: 有限個のサンプルからスパース特徴を抽出するために畳み込みアーキテクチャを用いるフレームワークを提案する。
スパース近似器は離散サンプルから安定に回収できることを示す。
また、機能学習における次元の呪いをいかに緩和するかという新しい理論的な洞察も提供する。
- 参考スコア（独自算出の注目度）: 27.6052958612001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have emerged as powerful tools for learning operators defined over infinite-dimensional function spaces. However, existing theories frequently encounter difficulties related to dimensionality and limited interpretability. This work investigates how sparsity can help address these challenges in functional learning, a central ingredient in operator learning. We propose a framework that employs convolutional architectures to extract sparse features from a finite number of samples, together with deep fully connected networks to effectively approximate nonlinear functionals. Using universal discretization methods, we show that sparse approximators enable stable recovery from discrete samples. In addition, both the deterministic and the random sampling schemes are sufficient for our analysis. These findings lead to improved approximation rates and reduced sample sizes in various function spaces, including those with fast frequency decay and mixed smoothness. They also provide new theoretical insights into how sparsity can alleviate the curse of dimensionality in functional learning.
- Abstract（参考訳）: ディープニューラルネットワークは、無限次元関数空間上で定義された演算子を学習するための強力なツールとして登場した。
しかし、既存の理論はしばしば次元性や限定的な解釈可能性に関連する困難に遭遇する。
本研究は,操作者学習の中心的要素である機能学習におけるこれらの課題に対して,空間性がどのように対処できるかを考察する。
本稿では,有限個のサンプルからスパース特徴を抽出するための畳み込みアーキテクチャと,非線形汎関数を効果的に近似する深い完全連結ネットワークを提案する。
普遍的な離散化手法を用いて,スパース近似器が離散サンプルからの安定回復を可能にすることを示す。
さらに、決定論的およびランダムサンプリング方式は、解析に十分である。
これらの結果から, 高速周波数減衰や混合滑らか度など, 様々な関数空間における近似速度の改善, サンプルサイズ削減が導かれた。
また、機能学習における次元の呪いをいかに緩和するかという新しい理論的な洞察も提供する。
関連論文リスト
- Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。
高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
論文 参考訳（メタデータ） (2026-03-24T08:58:12Z) - Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。
我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。
我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
論文 参考訳（メタデータ） (2025-01-02T12:10:17Z) - Spherical Analysis of Learning Nonlinear Functionals [10.785977740158193]
本稿では,球面上の関数の集合上で定義される関数について考察する。
深部ReLUニューラルネットワークの近似能力をエンコーダデコーダフレームワークを用いて検討した。
論文 参考訳（メタデータ） (2024-10-01T20:10:00Z) - Nonlinear functional regression by functional deep neural network with kernel embedding [18.927592350748682]
本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。
様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。
シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [78.11734286268455]
非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。
我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
論文 参考訳（メタデータ） (2023-07-04T11:08:03Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Function Approximation via Sparse Random Features [23.325877475827337]
本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-04T17:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。