論文の概要: Random Fourier Signature Features

• arxiv url: http://arxiv.org/abs/2311.12214v1
• Date: Mon, 20 Nov 2023 22:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 02:42:57.301424
• Title: Random Fourier Signature Features
• Title（参考訳）: ランダムなフーリエシグネチャの特徴
• Authors: Csaba Toth, Harald Oberhauser, Zoltan Szabo
• Abstract要約: 代数はシグネチャカーネルと呼ばれる任意の長さの列の類似性の最も強力な尺度の1つを生み出す。 署名カーネルのスケールを、配列の長さと数で2次的に計算する以前のアルゴリズム。 本研究では,非ユークリッド領域に作用するシグネチャカーネルのランダムなフーリエ特徴量に基づくアクセラレーションを開発する。
• 参考スコア（独自算出の注目度）: 9.85256783464329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor algebras give rise to one of the most powerful measures of similarity for sequences of arbitrary length called the signature kernel accompanied with attractive theoretical guarantees from stochastic analysis. Previous algorithms to compute the signature kernel scale quadratically in terms of the length and the number of the sequences. To mitigate this severe computational bottleneck, we develop a random Fourier feature-based acceleration of the signature kernel acting on the inherently non-Euclidean domain of sequences. We show uniform approximation guarantees for the proposed unbiased estimator of the signature kernel, while keeping its computation linear in the sequence length and number. In addition, combined with recent advances on tensor projections, we derive two even more scalable time series features with favourable concentration properties and computational complexity both in time and memory. Our empirical results show that the reduction in computational cost comes at a negligible price in terms of accuracy on moderate-sized datasets, and it enables one to scale to large datasets up to a million time series.
• Abstract（参考訳）: テンソル代数は、確率解析による魅力的な理論的保証を伴う符号核と呼ばれる任意の長さの列に対する最も強力な類似性の尺度の一つである。 シグネチャカーネルを計算する以前のアルゴリズムは、長さとシーケンス数で二乗的にスケールする。 この深刻な計算ボトルネックを緩和するため,本論文では,シーケンスの非ユークリッド領域に作用するシグネチャカーネルのランダムなフーリエ特徴に基づく高速化を開発した。 提案したシグネチャカーネルの非バイアス推定器に対して,その計算をシーケンス長と数に線形に保ちながら均一な近似保証を示す。 さらに,近年のテンソル射影の進歩と相まって,よりスケーラブルな2つの時系列特徴を導出した。 実験の結果,中規模データセットにおける計算コストの削減は,精度の面では無視できない価格で実現され,最大100万時系列までの大規模データセットへのスケールアップが可能となった。

関連論文リスト

• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• B\'ezier Gaussian Processes for Tall and Wide Data [24.00638575411818]
  入力機能の数に応じて指数関数的に変数の総和が増大するカーネルを導入する。 我々のカーネルはガウス過程の回帰において最もよく使われるカーネルのいくつかとよく似ていることを示す。
  論文  参考訳（メタデータ） (2022-09-01T10:22:14Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
  SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。 GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。 この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
  論文  参考訳（メタデータ） (2021-05-10T09:10:17Z)
• Photonic co-processors in HPC: using LightOn OPUs for Randomized Numerical Linear Algebra [53.13961454500934]
  従来のハードウェアでは,次元削減のためのランダム化ステップ自体が計算ボトルネックとなる可能性がある。 ランダム化は,様々な重要なrandnlaアルゴリズムにおいて,精度損失が無視できないほど大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-04-29T15:48:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• Faster Kernel Interpolation for Gaussian Processes [30.04235162264955]
  大規模データセットへのプロセス(GP)回帰のスケーリングにおける重要な課題は、正確な推論がnxnのカーネル行列を必要とすることである。 構造化カーネル(SKI)は最もスケーラブルな方法の一つである。 1つのO(n)時間前計算ステップの後、SKIをO(m log m)に還元できることが示される。 我々は, m と n の広い範囲で実際に高速化を実演し, 1億点を超える3次元気象レーダデータセット上でGP推定に適用した。
  論文  参考訳（メタデータ） (2021-01-28T00:09:22Z)
• Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
  本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。 計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-12T17:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。