論文の概要: Efficient Tensor Kernel methods for sparse regression

• arxiv url: http://arxiv.org/abs/2003.10482v1
• Date: Mon, 23 Mar 2020 18:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 23:49:26.730936
• Title: Efficient Tensor Kernel methods for sparse regression
• Title（参考訳）: スパース回帰のための効率的なテンソルカーネル法
• Authors: Feliks Hibraj, Marcello Pelillo, Saverio Salzo, Massimiliano Pontil
• Abstract要約: そこで本研究では,下層の回帰問題の解における空間性を促進するために,適切なテンソルカーネルを導入する。 テンソルを格納するにはかなりの量のメモリが必要で、最終的には適用性を制限する。 まず、データを格納するための新しいより効率的なレイアウトを導入することにより、メモリ要求を直接削減する。 第二に、Nystrom型サブサンプリングアプローチを用いて、少ないデータポイントでトレーニングフェーズを実現できるので、計算コストを削減できる。
• 参考スコア（独自算出の注目度）: 39.95662930240854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, classical kernel methods have been extended by the introduction of suitable tensor kernels so to promote sparsity in the solution of the underlying regression problem. Indeed, they solve an lp-norm regularization problem, with p=m/(m-1) and m even integer, which happens to be close to a lasso problem. However, a major drawback of the method is that storing tensors requires a considerable amount of memory, ultimately limiting its applicability. In this work we address this problem by proposing two advances. First, we directly reduce the memory requirement, by intriducing a new and more efficient layout for storing the data. Second, we use a Nystrom-type subsampling approach, which allows for a training phase with a smaller number of data points, so to reduce the computational cost. Experiments, both on synthetic and read datasets, show the effectiveness of the proposed improvements. Finally, we take case of implementing the cose in C++ so to further speed-up the computation.
• Abstract（参考訳）: 近年、古典的カーネル法は、基礎となる回帰問題の解におけるスパーシティを促進するために適切なテンソルカーネルの導入によって拡張されている。 実際、彼らは p=m/(m-1) と m 偶数で lp-ノルム正規化問題を解くが、これはラッソ問題に近い。 しかし、この方法の大きな欠点は、テンソルの保存にはかなりのメモリが必要であり、最終的に適用性を制限することである。 本研究では2つの進歩を提案し,この問題に対処する。 まず、データを格納するための新しいより効率的なレイアウトを導入することにより、メモリ要求を直接削減する。 第2に,nystrom型サブサンプリング手法を用いて,データ点数の少ないトレーニングフェーズを実現することで,計算コストの低減を図る。 合成データセットと読み取りデータセットの両方の実験は、提案された改善の有効性を示している。 最後に,C++でコーズを実装して計算の高速化を図る。

関連論文リスト

• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• A Simple Algorithm For Scaling Up Kernel Methods [0.0]
  ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2023-01-26T20:59:28Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization [44.54772242784423]
  低ランク学習行列に対する効率的な非正規化アルゴリズムを開発した。 提案アルゴリズムは、高価な折り畳み/折り畳み問題を回避することができる。 実験の結果,提案アルゴリズムは既存の状態よりも効率的で空間が広いことがわかった。
  論文  参考訳（メタデータ） (2022-05-06T07:47:10Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。