論文の概要: Sublinearly Structured Deep Neural Networks Achieve Feature Learning Consistency for Compositional Functions
- arxiv url: http://arxiv.org/abs/2606.23477v1
- Date: Mon, 22 Jun 2026 15:24:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 18:50:53.909069
- Title: Sublinearly Structured Deep Neural Networks Achieve Feature Learning Consistency for Compositional Functions
- Title（参考訳）: 合成関数に対する特徴学習整合性を有するサブ線形構造深層ニューラルネットワーク
- Authors: Sehwan Kim, Yan Sun, Faming Liang,
- Abstract要約: ディープニューラルネットワーク(DNN)は、複雑な機械学習タスクにおいて顕著な成功を収めた。
サブ線形構造を持つDNNは,従来のモデルに匹敵する特徴学習の一貫性が得られることを示す。
構造監査は、AlexNet、VGGNet、ResNet、GoogLeNetを含む広く使われている畳み込みニューラルネットワーク(CNN)が、画像分類ベンチマークでサブ線形に構成されていることを示している。
- 参考スコア（独自算出の注目度）: 14.326511406760822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past decade, deep neural networks (DNNs) have achieved remarkable success on complex machine-learning tasks, yet the theoretical foundations of their performance remain incomplete. From a statistical viewpoint, a natural question is: can DNNs attain feature-learning and prediction consistency comparable to that of classical models? While a full characterization is open, we provide positive results for a broad subclass. We establish feature-learning consistency guarantees for sublinearly structured DNNs-architectures whose input/output dimensions and number of hidden neurons grow sublinearly with the sample size-when learning hierarchically compositional target functions. Importantly, this consistency still holds even in the conventional "over-parameterized" regime where the total number of parameters exceeds the number of training samples. Empirically, sublinearly structured DNNs match or surpass wide DNNs in prediction. A structural audit further indicates that widely used convolutional neural networks (CNNs), including AlexNet, VGGNet, ResNet, GoogLeNet, are sublinearly structured on their image classification benchmarks. We further prove that the sublinearly structured DNNs achieve universal approximation for hierarchically compositional functions in the large-sample limit. Moreover, images exhibit an inherent hierarchical, compositional structure. Taken together, these results explain, through a statistical lens, why many large-scale deep learning models succeed after adequate training on massive image datasets.
- Abstract（参考訳）: 過去10年間、ディープニューラルネットワーク(DNN)は複雑な機械学習タスクにおいて顕著な成功を収めてきたが、そのパフォーマンスの理論的基盤はいまだ不完全である。
DNNは従来のモデルに匹敵する特徴学習と予測一貫性を達成できますか?
完全な特徴付けは開であるが、幅広いサブクラスに対して肯定的な結果を与える。
我々は,入力/出力次元と隠れニューロン数が,階層的構成対象関数のサンプルサイズとともにサブライン的に増加するDNNのサブライン構造に対する特徴学習整合性を保証する。
重要なことに、この一貫性は、パラメータの総数がトレーニングサンプルの数を超える従来の「過度パラメータ化」体制でも維持されている。
経験的に、サブ線形構造DNNは予測において広いDNNと一致するか、あるいは超える。
構造監査はさらに、AlexNet、VGGNet、ResNet、GoogLeNetを含む広く使われている畳み込みニューラルネットワーク(CNN)が、画像分類ベンチマークでサブ線形に構成されていることを示している。
さらに, 線形構造を持つDNNが, 大規模サンプル極限における階層的構成関数の普遍近似を実現することを証明した。
さらに、画像は本質的に階層的で構成的な構造を示している。
これらの結果は、統計レンズを通して、大規模な画像データセットを適切にトレーニングした後、大規模なディープラーニングモデルが成功する理由を説明する。
関連論文リスト
- Learning Sparse Compositional Functions with Norm-Constrained Neural Networks [8.967327976469653]
深層ネットワークは対象関数の構成構造を活用でき、次元性の呪い(CoD)を効果的に回避できることを示す。
チューリング計算可能な全ての関数はスパース構成表現を許容するので、我々の結果は幅広い適用性を持つ。
論文 参考訳（メタデータ） (2026-05-25T09:02:13Z) - Compositional Sparsity as an Inductive Bias for Neural Architecture Design [35.06894725394093]
我々は、ディープニューラルネットワークが次元の呪いを克服できる構造的先行性を特定する。
本稿では,階層的な構成によって抽象化が生じる解釈可能なパイプラインを提案する。
現実世界のデータセットの幅広いスイートの中で、HNNは、はるかに少ないパラメータを使用しながら、常に密なベースラインにマッチまたは性能を向上する。
論文 参考訳（メタデータ） (2026-05-14T12:26:50Z) - Generalization Bounds of Spiking Neural Networks via Rademacher Complexity [58.338455812259724]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングと計算における大きな可能性のために、バイオインスパイアされたモデルの1つとして注目を集めている。
近年の進歩は、発火を伴うSNNのラデマッハ複雑性が指数関数によって上界化されるような、励起依存的でアーキテクチャ関連の一般化が明らかにされている。
理論的には、Rademacher複雑性を通したいくつかの統合ファイアスキームによるSNNの一般化境界について検討する。
論文 参考訳（メタデータ） (2026-04-26T14:24:48Z) - KVNN: Learnable Multi-Kernel Volterra Neural Networks [6.550684951976901]
カーネル化されたVolterra Neural Network (kVNN)
ビデオ行動認識と画像認知の2つの代表的なタスクに関する実験。
大規模な事前トレーニングを行わずに、スクラッチからトレーニングした場合でも、結果は維持される。
論文 参考訳（メタデータ） (2026-04-16T15:18:48Z) - Mathematical Modeling and Convergence Analysis of Deep Neural Networks with Dense Layer Connectivities in Deep Learning [1.5516092077598485]
ディープラーニングでは、ディープニューラルネットワーク(DNN)において、高密度層接続が重要な設計原則となっている。
本研究では, 密結合DNNを数学的にモデル化し, 深層限界における学習問題を解析する。
論文 参考訳（メタデータ） (2025-10-02T14:22:51Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
論文 参考訳（メタデータ） (2020-09-21T22:11:53Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。