論文の概要: Dimension-independent rates for structured neural density estimation

• arxiv url: http://arxiv.org/abs/2411.15095v1
• Date: Fri, 22 Nov 2024 17:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:25.047352
• Title: Dimension-independent rates for structured neural density estimation
• Title（参考訳）: 構造的ニューラル密度推定のための次元非依存速度
• Authors: Robert A. Vandermeulen, Wai Ming Tai, Bryon Aragam,
• Abstract要約: 深部ニューラルネットワークは, 構造密度の学習において, 次元に依存しない収束率を達成することを示す。 我々の結果は、画像、音声、ビデオ、テキストデータの現実的なモデルに適用できる。
• 参考スコア（独自算出の注目度）: 20.127707015407967
• License:
• Abstract: We show that deep neural networks achieve dimension-independent rates of convergence for learning structured densities such as those arising in image, audio, video, and text applications. More precisely, we demonstrate that neural networks with a simple $L^2$-minimizing loss achieve a rate of $n^{-1/(4+r)}$ in nonparametric density estimation when the underlying density is Markov to a graph whose maximum clique size is at most $r$, and we provide evidence that in the aforementioned applications, this size is typically constant, i.e., $r=O(1)$. We then establish that the optimal rate in $L^1$ is $n^{-1/(2+r)}$ which, compared to the standard nonparametric rate of $n^{-1/(2+d)}$, reveals that the effective dimension of such problems is the size of the largest clique in the Markov random field. These rates are independent of the data's ambient dimension, making them applicable to realistic models of image, sound, video, and text data. Our results provide a novel justification for deep learning's ability to circumvent the curse of dimensionality, demonstrating dimension-independent convergence rates in these contexts.
• Abstract（参考訳）: 深層ニューラルネットワークは,画像,音声,ビデオ,テキストなどの構造化密度の学習において,次元に依存しない収束率を実現する。 より正確には、単純な$L^2$-minimizing lossを持つニューラルネットワークは、基礎密度がマルコフで最大傾きが$r$であるグラフに対して、非パラメトリック密度推定において$n^{-1/(4+r)}$の速度を達成することを実証し、上記のアプリケーションでは、このサイズが通常、$r=O(1)$であることを示す。 すると、$L^1$ の最適レートが $n^{-1/(2+r)}$ であることを確立し、標準的な非パラメトリックレートである $n^{-1/(2+d)}$ と比較すると、そのような問題の有効次元はマルコフ確率場における最大の傾きの大きさであることが分かる。 これらのレートはデータの周囲次元とは独立しており、画像、音声、ビデオ、テキストデータの現実的なモデルに適用できる。 本研究は,これらの文脈において,次元非依存の収束率を示すことによって,次元の呪いを回避する深層学習能力の新たな正当化を提供するものである。

関連論文リスト

• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• High-Dimensional Inference over Networks: Linear Convergence and Statistical Guarantees [20.701475313495884]
  エージェントネットワーク上の疎線形回帰を非指向グラフとしてモデル化し,サーバノードを持たない。 分布予測勾配追跡に基づくアルゴリズムの収束率と統計的保証を解析する。
  論文  参考訳（メタデータ） (2022-01-21T01:26:08Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting [20.198224461384854]
  ニューラルネットワークは、コンピュータビジョンの顔画像のような大規模な高次元データを扱う。 本稿では,高次元分類におけるこの経験的成功を理解するために,過剰リスクの収束率を導出する。
  論文  参考訳（メタデータ） (2020-01-19T19:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。