論文の概要: Large-Scale Learning with Fourier Features and Tensor Decompositions

• arxiv url: http://arxiv.org/abs/2109.01545v1
• Date: Fri, 3 Sep 2021 14:12:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 16:13:52.016852
• Title: Large-Scale Learning with Fourier Features and Tensor Decompositions
• Title（参考訳）: フーリエ特徴とテンソル分解による大規模学習
• Authors: Frederiek Wesel, Kim Batselier
• Abstract要約: 決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。 数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
• 参考スコア（独自算出の注目度）: 3.6930948691311007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random Fourier features provide a way to tackle large-scale machine learning problems with kernel methods. Their slow Monte Carlo convergence rate has motivated the research of deterministic Fourier features whose approximation error decreases exponentially with the number of frequencies. However, due to their tensor product structure these methods suffer heavily from the curse of dimensionality, limiting their applicability to two or three-dimensional scenarios. In our approach we overcome said curse of dimensionality by exploiting the tensor product structure of deterministic Fourier features, which enables us to represent the model parameters as a low-rank tensor decomposition. We derive a monotonically converging block coordinate descent algorithm with linear complexity in both the sample size and the dimensionality of the inputs for a regularized squared loss function, allowing to learn a parsimonious model in decomposed form using deterministic Fourier features. We demonstrate by means of numerical experiments how our low-rank tensor approach obtains the same performance of the corresponding nonparametric model, consistently outperforming random Fourier features.
• Abstract（参考訳）: Random Fourierの機能は、カーネルメソッドで大規模な機械学習問題に対処する方法を提供する。 彼らの遅いモンテカルロ収束速度は、周波数数で近似誤差が指数関数的に減少する決定論的フーリエ特徴の研究の動機となった。 しかし、そのテンソル積構造のため、これらの手法は次元の呪いに悩まされ、2次元または3次元のシナリオに限定される。 提案手法では,決定論的フーリエ特徴のテンソル積構造を利用して次元の呪いを克服し,モデルパラメータを低ランクテンソル分解として表現する。 正則化二乗損失関数に対するサンプルサイズと入力の次元の両方において線形な複雑さを持つ単調収束ブロック座標降下アルゴリズムを導出し、決定論的フーリエ特徴を用いて分解形式のパリモニアモデルを学ぶことができる。 数値実験により,我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を示し,無作為なフーリエ特性を一貫して上回ることを示した。

関連論文リスト

• Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models [9.18287948559108]
  モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
  論文  参考訳（メタデータ） (2023-09-11T13:18:19Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Theory on variational high-dimensional tensor networks [2.0307382542339485]
  ランダムな高次元ネットワーク状態の創発的統計特性とテンソルネットワークのトレーニング可能性について検討する。 変動高次元ネットワークが大域的損失関数のバレンプラトーに悩まされていることを証明した。 この結果は、将来の理論的研究と実践的応用の道を開くものである。
  論文  参考訳（メタデータ） (2023-03-30T15:26:30Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Function Approximation via Sparse Random Features [23.325877475827337]
  本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。 分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-04T17:53:54Z)
• Low-rank Characteristic Tensor Density Estimation Part I: Foundations [38.05393186002834]
  テンソル因子化ツールに基づく新しい手法を提案する。 次元の呪いを回避するため、この特性テンソルの低ランクモデルを導入する。 提案手法の有望な性能を,複数の測定データを用いて実証する。
  論文  参考訳（メタデータ） (2020-08-27T18:06:19Z)
• A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction [0.0]
  本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。 この手法は、連続函数をバイスで近似できるという性質を生かし、テンソルで表現できる。 モデルを学習するために,線形時間で実装可能な効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-04T14:49:14Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。