論文の概要: Function Approximation via Sparse Random Features
- arxiv url: http://arxiv.org/abs/2103.03191v1
- Date: Thu, 4 Mar 2021 17:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 15:01:27.570776
- Title: Function Approximation via Sparse Random Features
- Title(参考訳): スパースランダム特徴による関数近似
- Authors: Abolfazl Hashemi, Hayden Schaeffer, Robert Shi, Ufuk Topcu, Giang
Tran, Rachel Ward
- Abstract要約: 本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 23.325877475827337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random feature methods have been successful in various machine learning
tasks, are easy to compute, and come with theoretical accuracy bounds. They
serve as an alternative approach to standard neural networks since they can
represent similar function spaces without a costly training phase. However, for
accuracy, random feature methods require more measurements than trainable
parameters, limiting their use for data-scarce applications or problems in
scientific machine learning. This paper introduces the sparse random feature
method that learns parsimonious random feature models utilizing techniques from
compressive sensing. We provide uniform bounds on the approximation error for
functions in a reproducing kernel Hilbert space depending on the number of
samples and the distribution of features. The error bounds improve with
additional structural conditions, such as coordinate sparsity, compact clusters
of the spectrum, or rapid spectral decay. We show that the sparse random
feature method outperforms shallow networks for well-structured functions and
applications to scientific machine learning tasks.
- Abstract(参考訳): ランダム特徴法は様々な機械学習タスクで成功し、計算が容易で、理論的に精度の限界がある。
コストのかかるトレーニングフェーズなしで同様の関数空間を表現できるため、標準的なニューラルネットワークに代わるアプローチとして機能します。
しかしながら、正確性のため、ランダム特徴法はトレーニング可能なパラメータよりも多くの測定を必要とするため、データ収集アプリケーションや科学的な機械学習における問題に対する使用が制限される。
本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
再生カーネルヒルベルト空間における関数の近似誤差について、サンプル数と特徴量の分布に依存する一様境界を与える。
誤差境界は、座標の間隔、スペクトルのコンパクトなクラスター、または急速なスペクトル崩壊などの追加の構造条件で改善される。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
関連論文リスト
- D2NO: Efficient Handling of Heterogeneous Input Function Spaces with
Distributed Deep Neural Operators [7.119066725173193]
異種性を示す入力関数を扱うための新しい分散手法を提案する。
中央ニューラルネットワークは、すべての出力関数間で共有情報を処理するために使用される。
ニューラルネットワークが連続非線形作用素の普遍近似であることを示す。
論文 参考訳(メタデータ) (2023-10-29T03:29:59Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic
Representation [62.017505017414564]
教師なしの方法でニューラルソルバを訓練することが不可欠である。
既存の手法は妥当な精度を達成し、重要な計算課題と不正確なシミュレーションをもたらす。
PDEの確率的表現を用いて教師なしニューラルソルバを訓練するためのモンテカルロPDEソルバを提案する。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳(メタデータ) (2023-02-10T08:05:19Z) - RFFNet: Scalable and interpretable kernel methods via Random Fourier
Features [3.7438590597720784]
本稿では,カーネルマシンパラメータとカーネル関連性に基づく変数選択手法を提案する。
また,非パラメトリックな目的関数を効率よく実現する新しい最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-11-11T18:50:34Z) - Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文 参考訳(メタデータ) (2021-10-08T20:22:59Z) - Large-Scale Learning with Fourier Features and Tensor Decompositions [3.6930948691311007]
決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。
数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
論文 参考訳(メタデータ) (2021-09-03T14:12:53Z) - A Simple and General Debiased Machine Learning Theorem with Finite
Sample Guarantees [4.55274575362193]
我々は、あらゆる機械学習アルゴリズムのグローバルまたはローカル機能を含む、漸近的不偏性機械学習定理を提供する。
この結果は、アナリストが現代の学習理論の速度を従来の統計的推論に翻訳するために使用できる、単純な条件のセットで決定される。
論文 参考訳(メタデータ) (2021-05-31T17:57:02Z) - Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。
提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。
我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
論文 参考訳(メタデータ) (2020-10-09T01:10:08Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。