論文の概要: Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks

• arxiv url: http://arxiv.org/abs/2109.02832v1
• Date: Tue, 7 Sep 2021 02:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:49:07.885971
• Title: Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks
• Title（参考訳）: 畳み込み残留ネットワークを用いた低次元多様体上のBesov関数近似とバイナリ分類
• Authors: Hao Liu, Minshuo Chen, Tuo Zhao, Wenjing Liao
• Abstract要約: 畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。 その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
• 参考スコア（独自算出の注目度）: 42.43493635899849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of existing statistical theories on deep neural networks have sample complexities cursed by the data dimension and therefore cannot well explain the empirical success of deep learning on high-dimensional data. To bridge this gap, we propose to exploit low-dimensional geometric structures of the real world data sets. We establish theoretical guarantees of convolutional residual networks (ConvResNet) in terms of function approximation and statistical estimation for binary classification. Specifically, given the data lying on a $d$-dimensional manifold isometrically embedded in $\mathbb{R}^D$, we prove that if the network architecture is properly chosen, ConvResNets can (1) approximate Besov functions on manifolds with arbitrary accuracy, and (2) learn a classifier by minimizing the empirical logistic risk, which gives an excess risk in the order of $n^{-\frac{s}{2s+2(s\vee d)}}$, where $s$ is a smoothness parameter. This implies that the sample complexity depends on the intrinsic dimension $d$, instead of the data dimension $D$. Our results demonstrate that ConvResNets are adaptive to low-dimensional structures of data sets.
• Abstract（参考訳）: ディープニューラルネットワークに関する既存の統計理論の多くは、データ次元によって呪われたサンプルの複雑さを持っているため、高次元データに対するディープラーニングの実証的な成功を十分に説明できない。 このギャップを埋めるため,実世界のデータセットの低次元幾何構造を利用する。 畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。 具体的には、$d$-次元多様体上のデータが$\mathbb{R}^D$に等尺的に埋め込まれていることを考えると、ネットワークアーキテクチャが適切に選択された場合、ConvResNetsは(1)任意の精度で多様体上のベソフ関数を近似し、(2)経験的ロジスティックリスクを最小化して分類器を学ぶことができ、$n^{-\frac{s}{2s+2(s\vee d)}}$の順序で過剰なリスクを与える。 これはサンプルの複雑さがデータ次元$d$ではなく本質次元$d$に依存することを意味する。 その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Self-Supervised Scalable Deep Compressed Sensing [24.854496459622787]
  圧縮センシングはサンプリングコストを削減するための有望なツールである。 現在のディープニューラルネットワーク(NN)ベースのCS手法は、ラベル付き測定地上真実(GT)データ収集の課題に直面している。 本稿では,新しい$mathbfS$elf-supervised s$mathbfC$alable Deep CS法を提案する。
  論文  参考訳（メタデータ） (2023-08-26T06:03:06Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Theory of Deep Convolutional Neural Networks III: Approximating Radial Functions [7.943024117353317]
  我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。 ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
  論文  参考訳（メタデータ） (2021-07-02T08:22:12Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。