論文の概要: Optimized classification with neural ODEs via separability

• arxiv url: http://arxiv.org/abs/2312.13807v1
• Date: Thu, 21 Dec 2023 12:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:08:13.629156
• Title: Optimized classification with neural ODEs via separability
• Title（参考訳）: 分離性によるニューラルodeの最適分類
• Authors: Antonio \'Alvarez-L\'opez, Rafael Orive-Illera, Enrique Zuazua
• Abstract要約: ニューラル常微分方程式(ニューラルODE)のレンズを通して見た場合、N$点の分類は同時制御問題となる 本研究では,効率的なクラスタ分類に必要なニューロン数を推定することに焦点を当てた。 我々は任意の初期設定から$d$ポイントのクラスタを同時に分類する新しい構成的アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification of $N$ points becomes a simultaneous control problem when viewed through the lens of neural ordinary differential equations (neural ODEs), which represent the time-continuous limit of residual networks. For the narrow model, with one neuron per hidden layer, it has been shown that the task can be achieved using $O(N)$ neurons. In this study, we focus on estimating the number of neurons required for efficient cluster-based classification, particularly in the worst-case scenario where points are independently and uniformly distributed in $[0,1]^d$. Our analysis provides a novel method for quantifying the probability of requiring fewer than $O(N)$ neurons, emphasizing the asymptotic behavior as both $d$ and $N$ increase. Additionally, under the sole assumption that the data are in general position, we propose a new constructive algorithm that simultaneously classifies clusters of $d$ points from any initial configuration, effectively reducing the maximal complexity to $O(N/d)$ neurons.
• Abstract（参考訳）: N$ポイントの分類は、残留ネットワークの時間連続的極限を表すニューラル常微分方程式(ニューラルODE)のレンズを通して見る場合、同時制御問題となる。 狭いモデルでは、隠れた層ごとに1つのニューロンを持つと、そのタスクは$O(N)$ニューロンで達成できることが示されている。 本研究では,クラスタ単位の効率的な分類に必要なニューロン数,特に点が[0,1]^d$で独立に分布する最悪の場合のニューロン数の推定に焦点をあてる。 我々の分析は、O(N)$ニューロンより少ない確率を定量化する新しい方法を提供し、漸近的な振る舞いを$d$と$N$の増加として強調する。 さらに、データが一般的な位置にあるという唯一の仮定の下で、任意の初期設定から$d$ポイントのクラスタを同時に分類し、最大複雑性を$O(N/d)$ニューロンに効果的に還元する新しい構成的アルゴリズムを提案する。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• Minimum number of neurons in fully connected layers of a given neural network (the first approximation) [0.0]
  本稿では,任意のネットワークが与えられた問題を解く際の,完全連結層内のニューロンの最小数を探索するアルゴリズムを提案する。 提案アルゴリズムは,検出されたニューロン数のニューラルネットワークが要求される品質に適応可能であることを保証していないため,層内のニューロンの最小数を推定するための最初の近似である。
  論文  参考訳（メタデータ） (2024-05-23T03:46:07Z)
• Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
  勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。 次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• First Steps Towards a Runtime Analysis of Neuroevolution [2.07180164747172]
  進化的アルゴリズムは、単純な人工ニューラルネットワークの重みとアクティベーション機能を最適化する。 次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンを持つネットワークと、複数のニューロンと2つのレイヤを持つより高度な構造に対して厳密な実行時解析を行う。 その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-07-03T07:30:58Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks [36.753907384994704]
  ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。 我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。 過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
  論文  参考訳（メタデータ） (2020-10-02T15:23:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。