論文の概要: Reduced Kernel Dictionary Learning

• arxiv url: http://arxiv.org/abs/2307.08798v1
• Date: Mon, 17 Jul 2023 19:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 17:28:57.208130
• Title: Reduced Kernel Dictionary Learning
• Title（参考訳）: カーネル辞書学習の削減
• Authors: Denis C. Ilie-Ablachim, Bogdan Dumitrescu
• Abstract要約: 我々は,カーネル辞書学習問題において,縮小サイズの非線形表現を学習するための新しいアルゴリズムを提案する。 提案アルゴリズムは,少数のカーネルベクトルを使用しながら,より優れた表現を提供することができ,かつ,KDLに対する実行時間を短縮できることを示す。
• 参考スコア（独自算出の注目度）: 3.1981440103815717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we present new algorithms for training reduced-size nonlinear representations in the Kernel Dictionary Learning (KDL) problem. Standard KDL has the drawback of a large size of the kernel matrix when the data set is large. There are several ways of reducing the kernel size, notably Nystr\"om sampling. We propose here a method more in the spirit of dictionary learning, where the kernel vectors are obtained with a trained sparse representation of the input signals. Moreover, we optimize directly the kernel vectors in the KDL process, using gradient descent steps. We show with three data sets that our algorithms are able to provide better representations, despite using a small number of kernel vectors, and also decrease the execution time with respect to KDL.
• Abstract（参考訳）: 本稿では,カーネル辞書学習(KDL)問題における縮小サイズの非線形表現を学習するための新しいアルゴリズムを提案する。 標準のkdlは、データセットが大きい場合、カーネルマトリックスの大きなサイズの欠点がある。 カーネルサイズを減らすいくつかの方法があり、特にnystr\"omサンプリングがある。 本稿では,入力信号のスパース表現を訓練したカーネルベクトルを得る,辞書学習の精神における新しい手法を提案する。 さらに、勾配降下ステップを用いて、kdlプロセスにおけるカーネルベクトルを直接最適化する。 我々は,カーネルベクトルが少ないにもかかわらず,アルゴリズムがより良い表現を提供することができることを示すとともに,KDLに関して実行時間を短縮することを示す。

関連論文リスト

• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• Anomaly Detection with Selective Dictionary Learning [3.1981440103815717]
  辞書学習(DL)とカーネル辞書学習(KDL)に基づく新しい異常検出手法を提案する。 主な貢献は、既知のDLアルゴリズムとKDLアルゴリズムを非教師なしの方法で適応させることである。 本稿では,大規模なカーネル行列のため,大規模なデータセットの問題に有用なカーネルバージョン(RKDL)を提案する。
  論文  参考訳（メタデータ） (2023-07-17T19:44:52Z)
• Snacks: a fast large-scale kernel SVM solver [0.8602553195689513]
  SnacksはKernel Support Vector Machines用の新しい大規模ソルバである。 スナックは、カーネル行列の「Nystr」近似と、下次法の加速変種に依存している。
  論文  参考訳（メタデータ） (2023-04-17T04:19:20Z)
• An Efficient Approximate Method for Online Convolutional Dictionary Learning [32.90534837348151]
  トレーニングサンプルのスパース分解を取り入れた新しい近似OCDL法を提案する。 提案手法は,最先端のOCDLアルゴリズムの有効性を保ちながら,計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-01-25T13:40:18Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• K-Means Kernel Classifier [0.0]
  K平均クラスタリングと最小二乗カーネル分類法を組み合わせる。 教師なし学習アルゴリズムと教師なし学習アルゴリズムの組み合わせは,非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2020-12-23T23:10:44Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。