論文の概要: Beyond Overparameterization: Provable Learning of Input-Convex Multi-Layer Polynomial Networks with Active Queries
- arxiv url: http://arxiv.org/abs/2610.04999v1
- Date: Sun, 04 Oct 2026 06:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:10:45.344964
- Title: Beyond Overparameterization: Provable Learning of Input-Convex Multi-Layer Polynomial Networks with Active Queries
- Title（参考訳）: 過パラメータ化を超えて:アクティブなクエリを持つ入力凸多層多項式ネットワークの確率的学習
- Abstract要約: そこで本研究では,全てのネットワークパラメータをサンプル複雑度に応じて$$$accuracyに復元するレイヤワイズサンプリングに基づく対角化アルゴリズムを提案する。
私たちの知る限り、Emphfirstは、ニューラルネットワークトレーニングで高品質なデータを使用することの有効性を、驚くほど遠近分離で正当化します。
- 参考スコア（独自算出の注目度）: 9.595717315516438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The theoretical understanding of multi-layer neural networks is largely confined to overparameterized settings, which obscure parameter identifiability and incur high sample complexity. Neural tangent kernel (NTK) provides a general theory for wide networks, but does not offer efficient sample-complexity guarantees. Recent feature-learning results go beyond kernel methods for single-neuron, multi-index, and hierarchical targets. However, the analysis is often restricted to shallow or specific architectures and to the overparameterized regime. We break this paradigm to achieve parameter-level recovery of deep target networks, albeit by using active data queries. Specifically, we study $L$-layer polynomial networks with even degree-$k$ monomial activations and nonnegative higher-layer weights. This structure makes the target network input-convex, while the optimization landscape remains highly nonconvex with respect to the parameters. Leveraging input convexity and active queries, we propose \textbf{ASPIRE} (\textbf{A}ctive \textbf{S}am\textbf{P}ling for \textbf{I}terative \textbf{R}ecovery via \textbf{E}igendirections), a layerwise sampling-based diagonalization algorithm that recovers all network parameters to $δ$-accuracy with sample complexity $ \widetilde O_{k,L}\left(d^{L^2+O(L)}δ^{-2e}\right) $ in polynomial time. To our knowledge, this is the \emph{first} parameter-recovery guarantee for deep target networks whose exponent grows only polynomially with depth, as well as the \emph{first} justification for the effectiveness of using high-quality data in neural network training, with a remarkably \emph{exponential} separation.
- Abstract（参考訳）: 多層ニューラルネットワークの理論的理解は、パラメータの識別性を曖昧にし、高いサンプルの複雑さを生じさせる過度なパラメータ設定に限られている。
ニューラル・タンジェント・カーネル(NTK)は広帯域ネットワークの一般的な理論を提供するが、効率的なサンプル・複雑性保証は提供しない。
最近の特徴学習の結果は、単一ニューロン、マルチインデックス、階層的ターゲットのカーネルメソッドを越えている。
しかし、分析は浅いあるいは特定のアーキテクチャや過度にパラメータ化された構造に制限されることが多い。
我々はこのパラダイムを破り、アクティブなデータクエリを用いて、ディープターゲットネットワークのパラメータレベル回復を実現した。
具体的には、任意の次数-k$単項活性化と非負の高次重みを持つ$L$層多項式ネットワークについて検討する。
この構造は、ターゲットネットワークの入力凸を、最適化のランドスケープはパラメータに関して非常に非凸である。
入力凸性およびアクティブなクエリを活用して、すべてのネットワークパラメータをサンプリング複雑性を持つδ$-精度に復元する階層的にサンプリングベースの対角化アルゴリズムである \textbf{ASPIRE} (\textbf{A}ctive \textbf{S}am\textbf{P}ling for \textbf{I}terative \textbf{R}ecovery via \textbf{E}igendirections) を提案する。
我々の知る限り、これは、指数が深さとともに多項式的にしか成長しないディープターゲットネットワークに対する「emph{first}パラメータの回復保証」であり、ニューラルネットワークトレーニングにおける高品質なデータの使用の有効性に対する「emph{first}正当化」であり、驚くほど「emph{exponential}分離」である。
関連論文リスト
- Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime [33.80781505782195]
固定深さ$L$の多層パーセプトロン(MLP)の性能を任意の高次元データ上で予測する有効な近似手法を提案する。
比例極限における強い表現学習でさえ、最低でも$L$の順序パラメータで符号化され、自己整合的に決定される。
論文 参考訳（メタデータ） (2026-05-28T09:49:54Z) - Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。
SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。
このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文 参考訳（メタデータ） (2025-03-12T17:33:13Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Memorization and Optimization in Deep Neural Networks with Minimum
Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。
NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。
我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文 参考訳（メタデータ） (2022-05-20T14:50:24Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - Provable Memorization via Deep Neural Networks using Sub-linear
Parameters [91.0268925267129]
O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。
深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-10-26T06:19:38Z) - Deep Networks and the Multiple Manifold Problem [15.144495799445824]
マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。
ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。
本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
論文 参考訳（メタデータ） (2020-08-25T19:20:00Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。