論文の概要: A result relating convex n-widths to covering numbers with some applications to neural networks

• arxiv url: http://arxiv.org/abs/2512.04912v1
• Date: Thu, 04 Dec 2025 15:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.250951
• Title: A result relating convex n-widths to covering numbers with some applications to neural networks
• Title（参考訳）: 凸n幅と被覆数の関係とニューラルネットワークへの応用
• Authors: Jonathan Baxter, Peter Bartlett,
• Abstract要約: 一般に、高次元入力空間上で定義される関数のクラスを基底関数や特徴の固定集合の線型結合で近似することは困難であることが知られている。 それにもかかわらず、小さな特徴集合によってうまく近似されるような高次元関数クラスの特徴づけを求めるのは自然である。
• 参考スコア（独自算出の注目度）: 0.16406994864826552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In general, approximating classes of functions defined over high-dimensional input spaces by linear combinations of a fixed set of basis functions or ``features'' is known to be hard. Typically, the worst-case error of the best basis set decays only as fast as $Θ\(n^{-1/d}\)$, where $n$ is the number of basis functions and $d$ is the input dimension. However, there are many examples of high-dimensional pattern recognition problems (such as face recognition) where linear combinations of small sets of features do solve the problem well. Hence these function classes do not suffer from the ``curse of dimensionality'' associated with more general classes. It is natural then, to look for characterizations of high-dimensional function classes that nevertheless are approximated well by linear combinations of small sets of features. In this paper we give a general result relating the error of approximation of a function class to the covering number of its ``convex core''. For one-hidden-layer neural networks, covering numbers of the class of functions computed by a single hidden node upper bound the covering numbers of the convex core. Hence, using standard results we obtain upper bounds on the approximation rate of neural network classes.
• Abstract（参考訳）: 一般に、高次元入力空間上で定義される関数のクラスを基底関数の固定された集合や 'features'' の線型結合で近似することは困難であることが知られている。 通常、最良基底集合の最悪の誤差は、$n$ は基底関数の数、$d$ は入力次元である。 しかし、小さな特徴集合の線形結合がうまく解けるような高次元パターン認識問題(顔認識など)は数多く存在する。 したがって、これらの関数クラスは、より一般的なクラスに関連づけられた「次元の商」に苦しめられることはない。 それにもかかわらず、小さな特徴集合の線型結合によってうまく近似されるような高次元函数クラスの特徴づけを求めるのは自然である。 本稿では,関数クラスの近似誤差を,その‘凸コア’’の被覆数に関連付ける一般的な結果を与える。 一層ニューラルネットワークでは、凸コアの被覆数を1つの隠れノード上から計算した関数のクラスを被覆する。 したがって、標準結果を用いて、ニューラルネットワーククラスの近似率の上限を求める。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• Random features and polynomial rules [0.0]
  本稿では,ガウスデータを用いた一般教師付き学習問題に対するランダム特徴モデルの性能の一般化について述べる。 我々は、$Dto infty$と$P/DK$,$N/DL$の間の少なくとも一方が有限である極限から遠く離れた良い合意を見出す。
  論文  参考訳（メタデータ） (2024-02-15T18:09:41Z)
• Agnostically Learning Multi-index Models with Queries [54.290489524576756]
  本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。 クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-12-27T15:50:47Z)
• Gradient Descent Fails to Learn High-frequency Functions and Modular Arithmetic [8.813846754606898]
  本稿では,勾配に基づく学習手法を用いて,限界と課題の数学的解析を行う。 我々は、周波数または素基底$p$が大きい場合、両方の場合において勾配のばらつきが無視できるほど小さいことを強調する。
  論文  参考訳（メタデータ） (2023-10-19T11:33:33Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On the Generalization Power of Overfitted Two-Layer Neural Tangent Kernel Models [42.72822331030195]
  min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語) 本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。 このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
  論文  参考訳（メタデータ） (2021-03-09T06:24:59Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• On Sharpness of Error Bounds for Multivariate Neural Network Approximation [0.0]
  この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。 誤差境界は滑らかさのモジュライで表される。
  論文  参考訳（メタデータ） (2020-04-05T14:00:52Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。