論文の概要: Function Approximation via Sparse Random Features

• arxiv url: http://arxiv.org/abs/2103.03191v1
• Date: Thu, 4 Mar 2021 17:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:01:27.570776
• Title: Function Approximation via Sparse Random Features
• Title（参考訳）: スパースランダム特徴による関数近似
• Authors: Abolfazl Hashemi, Hayden Schaeffer, Robert Shi, Ufuk Topcu, Giang Tran, Rachel Ward
• Abstract要約: 本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。 分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.325877475827337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random feature methods have been successful in various machine learning tasks, are easy to compute, and come with theoretical accuracy bounds. They serve as an alternative approach to standard neural networks since they can represent similar function spaces without a costly training phase. However, for accuracy, random feature methods require more measurements than trainable parameters, limiting their use for data-scarce applications or problems in scientific machine learning. This paper introduces the sparse random feature method that learns parsimonious random feature models utilizing techniques from compressive sensing. We provide uniform bounds on the approximation error for functions in a reproducing kernel Hilbert space depending on the number of samples and the distribution of features. The error bounds improve with additional structural conditions, such as coordinate sparsity, compact clusters of the spectrum, or rapid spectral decay. We show that the sparse random feature method outperforms shallow networks for well-structured functions and applications to scientific machine learning tasks.
• Abstract（参考訳）: ランダム特徴法は様々な機械学習タスクで成功し、計算が容易で、理論的に精度の限界がある。 コストのかかるトレーニングフェーズなしで同様の関数空間を表現できるため、標準的なニューラルネットワークに代わるアプローチとして機能します。 しかしながら、正確性のため、ランダム特徴法はトレーニング可能なパラメータよりも多くの測定を必要とするため、データ収集アプリケーションや科学的な機械学習における問題に対する使用が制限される。 本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。 再生カーネルヒルベルト空間における関数の近似誤差について、サンプル数と特徴量の分布に依存する一様境界を与える。 誤差境界は、座標の間隔、スペクトルのコンパクトなクラスター、または急速なスペクトル崩壊などの追加の構造条件で改善される。 分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。

関連論文リスト

• Operator Learning Using Random Features: A Tool for Scientific Computing [3.745868534225104]
  教師付き演算子学習センターは、無限次元空間間のマップを推定するためにトレーニングデータを使用する。 本稿では,関数値のランダム特徴量法を提案する。 これは非線形問題に対して実用的な教師付き演算子学習アーキテクチャをもたらす。
  論文  参考訳（メタデータ） (2024-08-12T23:10:39Z)
• Universal approximation property of Banach space-valued random feature models including random neural networks [3.3379026542599934]
  ランダムな特徴学習におけるバナッハ空間値の拡張を提案する。 特徴マップをランダムに初期化することにより、線形読み出しのみをトレーニングする必要がある。 我々は、与えられたバナッハ空間の要素を学ぶための近似率と明示的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-12-13T11:27:15Z)
• D2NO: Efficient Handling of Heterogeneous Input Function Spaces with Distributed Deep Neural Operators [7.119066725173193]
  異種性を示す入力関数を扱うための新しい分散手法を提案する。 中央ニューラルネットワークは、すべての出力関数間で共有情報を処理するために使用される。 ニューラルネットワークが連続非線形作用素の普遍近似であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T03:29:59Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Large-Scale Learning with Fourier Features and Tensor Decompositions [3.6930948691311007]
  決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。 数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
  論文  参考訳（メタデータ） (2021-09-03T14:12:53Z)
• Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
  本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。 提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。 我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
  論文  参考訳（メタデータ） (2020-10-09T01:10:08Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。