論文の概要: SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm
- arxiv url: http://arxiv.org/abs/2108.10411v1
- Date: Mon, 23 Aug 2021 21:03:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 22:45:58.122208
- Title: SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm
- Title（参考訳）: SreaMRAK A Streaming Multi-Resolution Adaptive Kernel Algorithm
- Authors: Andreas Oslandsbotn, Zeljko Kereta, Valeriya Naumova, Yoav Freund,
Alexander Cloninger
- Abstract要約: 既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
- 参考スコア（独自算出の注目度）: 60.61943386819384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel ridge regression (KRR) is a popular scheme for non-linear
non-parametric learning. However, existing implementations of KRR require that
all the data is stored in the main memory, which severely limits the use of KRR
in contexts where data size far exceeds the memory size. Such applications are
increasingly common in data mining, bioinformatics, and control. A powerful
paradigm for computing on data sets that are too large for memory is the
streaming model of computation, where we process one data sample at a time,
discarding each sample before moving on to the next one.
In this paper, we propose StreaMRAK - a streaming version of KRR. StreaMRAK
improves on existing KRR schemes by dividing the problem into several levels of
resolution, which allows continual refinement to the predictions. The algorithm
reduces the memory requirement by continuously and efficiently integrating new
samples into the training model. With a novel sub-sampling scheme, StreaMRAK
reduces memory and computational complexities by creating a sketch of the
original data, where the sub-sampling density is adapted to the bandwidth of
the kernel and the local dimensionality of the data.
We present a showcase study on two synthetic problems and the prediction of
the trajectory of a double pendulum. The results show that the proposed
algorithm is fast and accurate.
- Abstract（参考訳）: カーネルリッジ回帰(KRR)は非線形非パラメトリック学習の一般的なスキームである。
しかし、既存のKRRの実装では、すべてのデータがメインメモリに格納されることが要求されるため、データサイズがメモリサイズを超える状況では、KRRの使用が著しく制限される。
このような応用は、データマイニング、バイオインフォマティクス、制御においてますます一般的になっている。
メモリに大きすぎるデータセットを計算するための強力なパラダイムは、計算のストリーミングモデルであり、1つのデータサンプルを一度に処理し、次のデータに移動する前に各サンプルを破棄する。
本稿では,KRRのストリーミング版であるStreaMRAKを提案する。
StreaMRAKは、問題をいくつかのレベルの解像度に分割することで既存のKRRスキームを改善する。
このアルゴリズムは、トレーニングモデルに新しいサンプルを連続的かつ効率的に統合することで、メモリ要求を減らす。
新たなサブサンプリング方式により、StreaMRAKは元のデータのスケッチを作成することで、メモリと計算の複雑さを低減し、サブサンプリング密度はカーネルの帯域幅とデータの局所次元に適応する。
本稿では,2つの合成問題と2重振り子の軌道予測に関する実証研究を行う。
その結果,提案アルゴリズムは高速かつ高精度であることがわかった。
関連論文リスト
- Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Angular upsampling in diffusion MRI using contextual HemiHex
sub-sampling in q-space [0.0]
データを関連するコンテキストに組み込むことで、AIモデルが後部を推測するための最大事前情報が提供されることを保証することが重要である。
本稿では,q空間幾何のトレーニングデータサンプリングに好意的に取り組むため,HemiHexサブサンプリングを提案する。
提案手法は, 未知の q-空間を推定し, 先行研究の限界に対処する幾何的に最適化された回帰手法である。
論文 参考訳（メタデータ） (2022-11-01T03:13:07Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z) - Memory and Computation-Efficient Kernel SVM via Binary Embedding and
Ternary Model Coefficients [18.52747917850984]
カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。
メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。
本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
論文 参考訳（メタデータ） (2020-10-06T09:41:54Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。