論文の概要: On the relationship between multivariate splines and infinitely-wide neural networks

• arxiv url: http://arxiv.org/abs/2302.03459v1
• Date: Tue, 7 Feb 2023 13:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:22:59.408747
• Title: On the relationship between multivariate splines and infinitely-wide neural networks
• Title（参考訳）: 多変量スプラインと無限大ニューラルネットワークの関係について
• Authors: Francis Bach (SIERRA)
• Abstract要約: 関連する函数空間はユークリッド球面上のソボレフ空間であり、微分のノルムに明示的に有界であることを示す。 このランダムな特徴展開は、理論と実践の両方において、通常のランダムなフーリエ特徴よりも数値的に良く振る舞う。 特に1次元において、関連するレバレッジスコアを比較して、2つのランダム展開を比較し、ニューラルネットワーク拡張のためのより良いスケーリングを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider multivariate splines and show that they have a random feature expansion as infinitely wide neural networks with one-hidden layer and a homogeneous activation function which is the power of the rectified linear unit. We show that the associated function space is a Sobolev space on a Euclidean ball, with an explicit bound on the norms of derivatives. This link provides a new random feature expansion for multivariate splines that allow efficient algorithms. This random feature expansion is numerically better behaved than usual random Fourier features, both in theory and practice. In particular, in dimension one, we compare the associated leverage scores to compare the two random expansions and show a better scaling for the neural network expansion.
• Abstract（参考訳）: 我々は多変量スプラインを考察し、ランダムな特徴展開を1つの隠れた層を持つ無限に広いニューラルネットワークと、整列された線形ユニットのパワーである均質な活性化関数として示す。 関連する函数空間はユークリッド球面上のソボレフ空間であり、微分のノルムに明示的に有界であることを示す。 このリンクは、効率的なアルゴリズムを可能にする多変量スプラインに対して、新しいランダム機能拡張を提供する。 このランダムな特徴展開は、理論と実践の両方において、通常のランダムなフーリエ特徴よりも数値的に良く振る舞う。 特に次元1では、関連するレバレッジスコアを比較して、2つのランダム展開を比較し、ニューラルネットワーク拡張のスケーリングを改善する。

関連論文リスト

• Function-Space Optimality of Neural Architectures with Multivariate Nonlinearities [26.039367753810705]
  我々は、バナッハ空間上の学習問題に対する解集合が、非線形性を持つニューラルアーキテクチャによって完全に特徴づけられることを示す代表者定理を証明した。 我々の結果は、データに基づいてトレーニングされたニューラルネットワークによって学習された関数の規則性に光を当て、実際に見つかったいくつかのアーキテクチャ選択に対する新たな理論的動機を与えました。
  論文  参考訳（メタデータ） (2023-10-05T17:13:16Z)
• Gaussian random field approximation via Stein's method with applications to wide random neural networks [20.554836643156726]
  我々は、よりスムーズな計量のバウンドを$W_$距離に転送できる新しいガウススムージング手法を開発した。 広帯域乱数ニューラルネットワークのガウス確率場近似の第一境界を求める。 我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
  論文  参考訳（メタデータ） (2023-06-28T15:35:10Z)
• Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
  リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。 特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。 活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
  論文  参考訳（メタデータ） (2023-06-02T17:07:12Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
  近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。 古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
  論文  参考訳（メタデータ） (2021-10-28T17:11:38Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity [6.252236971703546]
  分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
  論文  参考訳（メタデータ） (2020-10-23T01:46:12Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。