論文の概要: Representation formulas and pointwise properties for Barron functions

• arxiv url: http://arxiv.org/abs/2006.05982v2
• Date: Fri, 4 Jun 2021 17:18:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 05:16:30.797503
• Title: Representation formulas and pointwise properties for Barron functions
• Title（参考訳）: バロン関数の表現公式と点的性質
• Authors: Weinan E and Stephan Wojtowytsch
• Abstract要約: ReLU活性化を伴う無限広2層ニューラルネットワークの自然関数空間(バロン空間)について検討する。 特異集合がフラクタルあるいは湾曲した関数は、有限経路ノルムを持つ無限に広い2層ネットワークでは表現できないことを示す。 この結果は、2層ニューラルネットワークが一般的に信じられているよりも多種多様な機能を近似できる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 8.160343645537106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the natural function space for infinitely wide two-layer neural networks with ReLU activation (Barron space) and establish different representation formulae. In two cases, we describe the space explicitly up to isomorphism. Using a convenient representation, we study the pointwise properties of two-layer networks and show that functions whose singular set is fractal or curved (for example distance functions from smooth submanifolds) cannot be represented by infinitely wide two-layer networks with finite path-norm. We use this structure theorem to show that the only $C^1$-diffeomorphisms which Barron space are affine. Furthermore, we show that every Barron function can be decomposed as the sum of a bounded and a positively one-homogeneous function and that there exist Barron functions which decay rapidly at infinity and are globally Lebesgue-integrable. This result suggests that two-layer neural networks may be able to approximate a greater variety of functions than commonly believed.
• Abstract（参考訳）: reluアクティベーション(バロン空間)を持つ無限大の2層ニューラルネットワークの自然関数空間を研究し、異なる表現公式を確立する。 2つの場合において、空間を同型に明示的に記述する。 便利な表現を用いて、2層ネットワークのポイントワイド特性を調べ、特異集合がフラクタルあるいは湾曲した関数(例えば滑らかな部分多様体からの距離関数)が有限経路ノルムを持つ無限に広い2層ネットワークで表現できないことを示す。 この構造定理を用いて、バロン空間がアフィンである唯一の$C^1$-微分同相写像を示す。 さらに,任意のバロン函数は有界かつ正の 1-等質函数の和として分解可能であり,無限大において急速に崩壊し,全世界的にルベーグ可積分であるバロン函数が存在することを示した。 この結果は、2層ニューラルネットワークが一般に信じられている以上の関数を近似できることを示唆している。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Functional Diffusion [55.251174506648454]
  本稿では,関数拡散と呼ばれる新しい生成拡散モデルを提案する。 汎函数拡散は古典的拡散モデルの無限次元領域への拡張と見なすことができる。 3次元表面上で定義された複雑な符号付き距離関数と変形関数の生成結果を示す。
  論文  参考訳（メタデータ） (2023-11-26T21:35:34Z)
• Structure of universal formulas [13.794391803767617]
  本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。 活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。 任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
  論文  参考訳（メタデータ） (2023-11-07T11:50:25Z)
• Barron Space for Graph Convolution Neural Networks [4.980329703241598]
  グラフ畳み込みニューラルネットワーク(GCNN)はグラフドメインで動作する。 本稿では,グラフ信号のコンパクト領域上に関数のバロン空間を導入する。
  論文  参考訳（メタデータ） (2023-11-06T02:58:05Z)
• Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
  集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
  論文  参考訳（メタデータ） (2022-08-08T10:58:02Z)
• Depth separation beyond radial functions [34.11708874794196]
  特定の関数は2重層ネットワークで効率的に近似できるが、高次元の1重層ネットワークでは効率よく近似できないことを示す。 このような結果の証明における一般的なテーマは、一隠れ層ネットワークがフーリエ表現が領域に広がる高エネルギー関数の近似に失敗するという事実である。
  論文  参考訳（メタデータ） (2021-02-02T17:25:02Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• The Kolmogorov-Arnold representation theorem revisited [0.0]
  コルモゴロフ・アルノルド表現定理がニューラルネットワークにおける複数の隠蔽層の使用を説明できるかどうか、長年にわたる議論がある。 我々は、表現関数の滑らか性特性を外部関数に伝達し、ReLUネットワークによりうまく近似できるコルモゴロフ・アルノルド表現の修正を導出する。 2つの隠れた層の代わりに、コルモゴロフ・アルノルド表現のより自然な解釈は、ほとんどの層が内部関数を近似するために必要となるディープニューラルネットワークのものであるようである。
  論文  参考訳（メタデータ） (2020-07-31T07:41:09Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• PDE constraints on smooth hierarchical functions computed by neural networks [0.0]
  ディープニューラルネットワーク理論における重要な問題は、表現性である。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。 このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
  論文  参考訳（メタデータ） (2020-05-18T16:34:11Z)
• Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
  深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。 繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
  論文  参考訳（メタデータ） (2020-04-19T18:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。