論文の概要: Finite Samples for Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2503.12744v1
• Date: Mon, 17 Mar 2025 02:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:58:38.524357
• Title: Finite Samples for Shallow Neural Networks
• Title（参考訳）: 浅層ニューラルネットワークのための有限サンプル
• Authors: Yu Xia, Zhiqiang Xu,
• Abstract要約: 本稿では, 様々な非線形活性化関数を持つ2層非既約浅層ネットワークを有限標本で同定する能力について検討する。 有限標本は任意の既約ReLU浅層ネットワークの同定に不十分であることを示す。 我々は,2層非既約浅層解析網の回復を可能にする有限サンプルを構築した。
• 参考スコア（独自算出の注目度）: 16.792336019730044
• License:
• Abstract: This paper investigates the ability of finite samples to identify two-layer irreducible shallow networks with various nonlinear activation functions, including rectified linear units (ReLU) and analytic functions such as the logistic sigmoid and hyperbolic tangent. An ``irreducible" network is one whose function cannot be represented by another network with fewer neurons. For ReLU activation functions, we first establish necessary and sufficient conditions for determining the irreducibility of a network. Subsequently, we prove a negative result: finite samples are insufficient for definitive identification of any irreducible ReLU shallow network. Nevertheless, we demonstrate that for a given irreducible network, one can construct a finite set of sampling points that can distinguish it from other network with the same neuron count. Conversely, for logistic sigmoid and hyperbolic tangent activation functions, we provide a positive result. We construct finite samples that enable the recovery of two-layer irreducible shallow analytic networks. To the best of our knowledge, this is the first study to investigate the exact identification of two-layer irreducible networks using finite sample function values. Our findings provide insights into the comparative performance of networks with different activation functions under limited sampling conditions.
• Abstract（参考訳）: 本稿では,正規化線形単位(ReLU)やロジスティックシグモイドや双曲タンジェントなどの解析関数を含む,非線形活性化関数を持つ2層無誘導浅層ネットワークを有限標本で同定する能力について検討する。 inreducible" ネットワークは、ニューロンが少ない別のネットワークでは、関数を表現できないネットワークである。 ReLUアクティベーション関数の場合、まずネットワークの既約性を決定するための必要かつ十分な条件を確立する。 有限標本は任意の既約ReLU浅層ネットワークの同定に不十分である。 それでも、与えられた既約ネットワークに対して、同じニューロン数を持つ他のネットワークと区別できる有限個のサンプリングポイントを構築できることを示す。 逆に、ロジスティックシグモイドおよび双曲的タンジェント活性化関数に対しては、正の結果が得られる。 我々は,2層非既約浅層解析網の回復を可能にする有限サンプルを構築した。 我々の知る限りでは、有限サンプル関数値を用いた二層既約ネットワークの正確な同定を調査する最初の研究である。 本研究は,限られたサンプリング条件下での,異なるアクティベーション機能を持つネットワークの比較性能に関する知見を提供する。

関連論文リスト

• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Asymptotics of representation learning in finite Bayesian neural networks [19.809493085603673]
  有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。 その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
  論文  参考訳（メタデータ） (2021-06-01T17:30:30Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
  非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。 入力が帯域制限の仮定の下では、新しいエラー境界を提供する。 前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
  論文  参考訳（メタデータ） (2020-04-15T10:25:18Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。