論文の概要: POCKET: Pruning Random Convolution Kernels for Time Series Classification from a Feature Selection Perspective

• arxiv url: http://arxiv.org/abs/2309.08499v4
• Date: Wed, 24 Jul 2024 19:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 19:56:25.698762
• Title: POCKET: Pruning Random Convolution Kernels for Time Series Classification from a Feature Selection Perspective
• Title（参考訳）: POCKET:特徴選択から見た時系列分類のためのランダム畳み込みカーネル
• Authors: Shaowu Chen, Weize Sun, Lei Huang, Xiaopeng Li, Qingyuan Wang, Deepu John,
• Abstract要約: 時系列分類モデルであるPOCKETは、冗長カーネルを効率的にプルークするように設計されている。 POCKETは、精度を大幅に低下させることなく最大60%のカーネルを出力し、そのカーネルよりも11$times$高速に動作させる。 多様な時系列データセットによる実験結果から、POCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、それよりも11$times$高速に動作していることがわかった。
• 参考スコア（独自算出の注目度）: 8.359327841946852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, two competitive time series classification models, namely, ROCKET and MINIROCKET, have garnered considerable attention due to their low training cost and high accuracy. However, they rely on a large number of random 1-D convolutional kernels to comprehensively capture features, which is incompatible with resource-constrained devices. Despite the development of heuristic algorithms designed to recognize and prune redundant kernels, the inherent time-consuming nature of evolutionary algorithms hinders efficient evaluation. To efficiently prune models, this paper eliminates feature groups contributing minimally to the classifier, thereby discarding the associated random kernels without direct evaluation. To this end, we incorporate both group-level ($l_{2,1}$-norm) and element-level ($l_2$-norm) regularizations to the classifier, formulating the pruning challenge as a group elastic net classification problem. An ADMM-based algorithm is initially introduced to solve the problem, but it is computationally intensive. Building on the ADMM-based algorithm, we then propose our core algorithm, POCKET, which significantly speeds up the process by dividing the task into two sequential stages. In Stage 1, POCKET utilizes dynamically varying penalties to efficiently achieve group sparsity within the classifier, removing features associated with zero weights and their corresponding kernels. In Stage 2, the remaining kernels and features are used to refit a $l_2$-regularized classifier for enhanced performance. Experimental results on diverse time series datasets show that POCKET prunes up to 60% of kernels without a significant reduction in accuracy and performs 11$\times$ faster than its counterparts. Our code is publicly available at https://github.com/ShaowuChen/POCKET.
• Abstract（参考訳）: 近年、ROCKETとMINIROCKETという2つの競合時系列分類モデルが、トレーニングコストの低さと高い精度で注目されている。 しかし、リソース制約のあるデバイスと互換性のない機能を包括的にキャプチャするために、多数のランダムな1-D畳み込みカーネルに依存している。 冗長カーネルを認識およびプルークするために設計されたヒューリスティックアルゴリズムの開発にもかかわらず、進化的アルゴリズムの本質的な時間的特性は効率的な評価を妨げている。 そこで本研究では,分類器に最小限に寄与する特徴群を除去し,関連するランダムカーネルを直接評価せずに破棄する。 この目的のために、グループレベル(l_{2,1}$-norm)と要素レベル(l_2$-norm)の正規化の両方を分類器に組み込み、プルーニングチャレンジを群弾性ネット分類問題として定式化する。 ADMMに基づくアルゴリズムは、当初はこの問題を解決するために導入されたが、計算集約的である。 ADMMに基づくアルゴリズムをベースとして,タスクを2段階に分割することで処理を著しく高速化するコアアルゴリズムであるPOCKETを提案する。 ステージ1では、PockETは動的に変化するペナルティを利用して分類器内のグループ間隔を効率的に達成し、ゼロウェイトとその対応するカーネルに関連する特徴を除去する。 ステージ2では、残りのカーネルと機能は、パフォーマンスを向上させるために$l2$-regularized classifierに適合するために使用される。 多様な時系列データセットによる実験結果から、POCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、それよりも11$\times$高速に動作していることがわかった。 私たちのコードはhttps://github.com/ShaowuChen/POCKET.comで公開されています。

関連論文リスト

• Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
  カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。 従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。 本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-15T04:57:37Z)
• Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
  我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。 カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。 我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
  論文  参考訳（メタデータ） (2022-10-27T14:48:49Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。 本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。 二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
  論文  参考訳（メタデータ） (2022-07-13T08:37:42Z)
• S-Rocket: Selective Random Convolution Kernels for Time Series Classification [36.9596657353794]
  ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。 計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。 最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-03-07T15:02:12Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
  カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。 最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。 対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
  論文  参考訳（メタデータ） (2020-06-13T18:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。