論文の概要: Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension
- arxiv url: http://arxiv.org/abs/2604.06774v1
- Date: Wed, 08 Apr 2026 07:42:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.403856
- Title: Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension
- Title（参考訳）: 非線形関数に対するスパースアウェアニューラルネットワーク-次元の指数依存性の緩和
- Abstract要約: 有限個のサンプルからスパース特徴を抽出するために畳み込みアーキテクチャを用いるフレームワークを提案する。
スパース近似器は離散サンプルから安定に回収できることを示す。
また、機能学習における次元の呪いをいかに緩和するかという新しい理論的な洞察も提供する。
- 参考スコア（独自算出の注目度）: 27.6052958612001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have emerged as powerful tools for learning operators defined over infinite-dimensional function spaces. However, existing theories frequently encounter difficulties related to dimensionality and limited interpretability. This work investigates how sparsity can help address these challenges in functional learning, a central ingredient in operator learning. We propose a framework that employs convolutional architectures to extract sparse features from a finite number of samples, together with deep fully connected networks to effectively approximate nonlinear functionals. Using universal discretization methods, we show that sparse approximators enable stable recovery from discrete samples. In addition, both the deterministic and the random sampling schemes are sufficient for our analysis. These findings lead to improved approximation rates and reduced sample sizes in various function spaces, including those with fast frequency decay and mixed smoothness. They also provide new theoretical insights into how sparsity can alleviate the curse of dimensionality in functional learning.
- Abstract（参考訳）: ディープニューラルネットワークは、無限次元関数空間上で定義された演算子を学習するための強力なツールとして登場した。
しかし、既存の理論はしばしば次元性や限定的な解釈可能性に関連する困難に遭遇する。
本研究は,操作者学習の中心的要素である機能学習におけるこれらの課題に対して,空間性がどのように対処できるかを考察する。
本稿では,有限個のサンプルからスパース特徴を抽出するための畳み込みアーキテクチャと,非線形汎関数を効果的に近似する深い完全連結ネットワークを提案する。
普遍的な離散化手法を用いて,スパース近似器が離散サンプルからの安定回復を可能にすることを示す。
さらに、決定論的およびランダムサンプリング方式は、解析に十分である。
これらの結果から, 高速周波数減衰や混合滑らか度など, 様々な関数空間における近似速度の改善, サンプルサイズ削減が導かれた。
また、機能学習における次元の呪いをいかに緩和するかという新しい理論的な洞察も提供する。
関連論文リスト
- Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization [0.0]
ニューラルネットワーク近似の関数同値性と幾何学的多様性をいくつかの基本的な数学的関数に解析する。
この研究は、機能的に区別できないが幾何学的に多様性のあるネットワークの大きな同値類を明らかにする。
パーシモニー,推定容易性,推論効率に基づく最適モデルを特定するために,モデル選択基準を提案する。
論文 参考訳（メタデータ） (2026-07-21T10:12:03Z) - Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。
高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
論文 参考訳（メタデータ） (2026-03-24T08:58:12Z) - Neural Approximation and Its Applications [73.11802084858294]
トレーニングされていないニューラルネットワークをベース関数として活用することにより、ニューラルネットワークの基盤関数を導入する。
多変量関数近似のための神経近似(NeuApprox)パラダイムを提案する。
多様な多次元画像、光フィールドデータ、ビデオ、トラフィックデータ、ポイントクラウドデータの実験は、NeuApproxの有望な性能を示している。
論文 参考訳（メタデータ） (2026-03-04T06:05:43Z) - Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。
SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。
このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文 参考訳（メタデータ） (2025-03-12T17:33:13Z) - Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。
我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。
我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
論文 参考訳（メタデータ） (2025-01-02T12:10:17Z) - Spherical Analysis of Learning Nonlinear Functionals [10.785977740158193]
本稿では,球面上の関数の集合上で定義される関数について考察する。
深部ReLUニューラルネットワークの近似能力をエンコーダデコーダフレームワークを用いて検討した。
論文 参考訳（メタデータ） (2024-10-01T20:10:00Z) - Nonlinear functional regression by functional deep neural network with kernel embedding [18.927592350748682]
本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。
様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。
シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [78.11734286268455]
非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。
我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
論文 参考訳（メタデータ） (2023-07-04T11:08:03Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Function Approximation via Sparse Random Features [23.325877475827337]
本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-04T17:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。