論文の概要: Approximation by non-symmetric networks for cross-domain learning
- arxiv url: http://arxiv.org/abs/2305.03890v2
- Date: Fri, 5 Jan 2024 05:14:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 18:49:22.317528
- Title: Approximation by non-symmetric networks for cross-domain learning
- Title（参考訳）: 非対称ネットワークによるクロスドメイン学習の近似
- Authors: Hrushikesh Mhaskar
- Abstract要約: 非対称カーネルを用いたカーネルネットワークの近似能力について検討する。
我々は、$r$が必ずしも整数ではない場合、ReLU$r$ネットワークにより、$L2$)-Sobolevクラスの関数の均一近似の精度の推定値を得る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For the past 30 years or so, machine learning has stimulated a great deal of
research in the study of approximation capabilities (expressive power) of a
multitude of processes, such as approximation by shallow or deep neural
networks, radial basis function networks, and a variety of kernel based
methods. Motivated by applications such as invariant learning, transfer
learning, and synthetic aperture radar imaging, we initiate in this paper a
general approach to study the approximation capabilities of kernel based
networks using non-symmetric kernels. While singular value decomposition is a
natural instinct to study such kernels, we consider a more general approach to
include the use of a family of kernels, such as generalized translation
networks (which include neural networks and translation invariant kernels as
special cases) and rotated zonal function kernels. Naturally, unlike
traditional kernel based approximation, we cannot require the kernels to be
positive definite. In particular, we obtain estimates on the accuracy of
uniform approximation of functions in a ($L^2$)-Sobolev class by ReLU$^r$
networks when $r$ is not necessarily an integer. Our general results apply to
the approximation of functions with small smoothness compared to the dimension
of the input space.
- Abstract（参考訳）: 過去30年ほどの間、機械学習は、浅層や深層ニューラルネットワークによる近似、ラジアル基底関数ネットワーク、様々なカーネルベースの手法など、多数のプロセスの近似能力(表現力)の研究において、多くの研究を刺激してきた。
本稿では,不変学習,転送学習,合成開口レーダイメージングなどの応用を動機とし,非対称カーネルを用いたカーネルベースネットワークの近似能力を研究するための一般的なアプローチを開始する。
特異値分解は、そのような核を研究するための自然な本能であるが、より一般的なアプローチとして、一般化された翻訳ネットワーク(ニューラルネットワークや変換不変核を含む)や回転したゾナル関数核(英語版)のようなカーネル群の使用を考える。
当然、従来のカーネルベース近似とは異なり、カーネルが正定値である必要はない。
特に、$r$が必ずしも整数ではない場合、ReLU$^r$ネットワークにより、$L^2$)-Sobolevクラスの関数の均一近似の精度の推定値を得る。
一般の結果は入力空間の次元と比較して滑らかさの小さい関数の近似に適用できる。
関連論文リスト
- An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳（メタデータ） (2023-08-01T20:22:53Z) - On the Eigenvalue Decay Rates of a Class of Neural-Network Related
Kernel Functions Defined on General Domains [10.360517127652185]
一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。
この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
論文 参考訳（メタデータ） (2023-05-04T08:54:40Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-04-30T05:31:07Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-05-15T14:10:35Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Deep Equals Shallow for ReLU Networks in Kernel Regimes [13.909388235627791]
ReLUアクティベーションでは、深層完全接続ネットワークから派生したカーネルは、浅層2層のカーネルと本質的に同じ近似特性を持つことを示す。
我々の理論結果は、核関数の微分可能性特性を通して、そのような固有値の崩壊を特徴づけることに依存している。
論文 参考訳（メタデータ） (2020-09-30T02:37:43Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite
Networks [12.692279981822011]
指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。
我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。
これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
論文 参考訳（メタデータ） (2020-02-20T01:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。