論文の概要: Dimension-independent learning rates for high-dimensional classification problems

• arxiv url: http://arxiv.org/abs/2409.17991v1
• Date: Thu, 26 Sep 2024 16:02:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:26:02.158124
• Title: Dimension-independent learning rates for high-dimensional classification problems
• Title（参考訳）: 高次元分類のための次元非依存学習率 問題
• Authors: Andres Felipe Lerma-Pineda, Philipp Petersen, Simon Frieder, Thomas Lukasiewicz
• Abstract要約: 各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
• 参考スコア（独自算出の注目度）: 53.622581586464634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of approximating and estimating classification functions that have their decision boundary in the $RBV^2$ space. Functions of $RBV^2$ type arise naturally as solutions of regularized neural network learning problems and neural networks can approximate these functions without the curse of dimensionality. We modify existing results to show that every $RBV^2$ function can be approximated by a neural network with bounded weights. Thereafter, we prove the existence of a neural network with bounded weights approximating a classification function. And we leverage these bounds to quantify the estimation rates. Finally, we present a numerical study that analyzes the effect of different regularity conditions on the decision boundaries.
• Abstract（参考訳）: RBV^2$空間における決定境界を持つ分類関数の近似と推定の問題について検討する。 RBV^2$型の関数は、正規化されたニューラルネットワーク学習問題の解法として自然に現れ、ニューラルネットワークはこれらの関数を次元性の呪いなしで近似することができる。 我々は既存の結果を修正し、各$RBV^2$関数が有界重みを持つニューラルネットワークによって近似可能であることを示す。 その後、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明した。 そして、これらの境界を利用して推定率を定量化します。 最後に、決定境界に対する異なる規則性条件の影響を分析する数値的研究について述べる。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Optimized classification with neural ODEs via separability [0.0]
  ニューラル常微分方程式(ニューラルODE)のレンズを通して見た場合、N$点の分類は同時制御問題となる 本研究では,効率的なクラスタ分類に必要なニューロン数を推定することに焦点を当てた。 我々は任意の初期設定から$d$ポイントのクラスタを同時に分類する新しい構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-21T12:56:40Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Optimal learning of high-dimensional classification problems using deep neural networks [0.0]
  雑音のないトレーニングサンプルから分類関数を学習する際の問題について,決定境界が一定の規則性であることを前提として検討する。 局所バロン-正則な決定境界のクラスでは、最適推定率は本質的に基底次元とは独立である。
  論文  参考訳（メタデータ） (2021-12-23T14:15:10Z)
• Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
  近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。 古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
  論文  参考訳（メタデータ） (2021-10-28T17:11:38Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。