論文の概要: P-ROCKET: Pruning Random Convolution Kernels for Time Series
Classification from a Feature Selection Perspective
- arxiv url: http://arxiv.org/abs/2309.08499v2
- Date: Mon, 5 Feb 2024 23:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 20:12:43.869524
- Title: P-ROCKET: Pruning Random Convolution Kernels for Time Series
Classification from a Feature Selection Perspective
- Title（参考訳）: P-ROCKET:特徴選択から見た時系列分類のためのランダム畳み込みカーネル
- Authors: Shaowu Chen, Weize Sun, Lei Huang, Xiaopeng Li, Qingyuan Wang, Deepu
John
- Abstract要約: 2つの時系列分類モデル、ROCKETとMINIROCKETは、特徴を捉えるために多数のランダムな1-D畳み込みカーネルを必要とする。
本稿では,効果的にモデルを作成するための2つの革新的アルゴリズムを提案する。
実験の結果、P-ROCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、P-ROCKETよりも11倍高速であることがわかった。
- 参考スコア（独自算出の注目度）: 8.857676036929245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, two competitive time series classification models, namely,
ROCKET and MINIROCKET, have garnered considerable attention due to their low
training cost and high accuracy. However, they require a large number of random
1-D convolutional kernels to comprehensively capture features, which is
incompatible with resource-constrained devices. Despite the development of
heuristic algorithms designed to recognize and prune redundant kernels, the
inherent time-consuming nature of evolutionary algorithms hinders efficient
evaluation. To effectively prune models, this paper removes redundant random
kernels from a feature selection perspective by eliminating associating
connections in the sequential classifier. Two innovative algorithms are
proposed, where the first ADMM-based algorithm formulates the pruning challenge
as a group elastic net classification problem, and the second core algorithm
named P-ROCKET greatly accelerates the first one by bifurcating the problem
into two sequential stages. Stage 1 of P-ROCKET introduces dynamically varying
penalties to efficiently implement group-level regularization to delete
redundant kernels, and Stage 2 employs element-level regularization on the
remaining features to refit a linear classifier for better performance.
Experimental results on diverse time series datasets show that P-ROCKET prunes
up to 60% of kernels without a significant reduction in accuracy and performs
11 times faster than its counterparts. Our code is publicly available at
https://github.com/ShaowuChen/P-ROCKET.
- Abstract（参考訳）: 近年、ROCKETとMINIROCKETという2つの競合時系列分類モデルが、トレーニングコストの低さと高い精度で注目されている。
しかし、リソース制約のあるデバイスと互換性のない機能を包括的にキャプチャするには、多数のランダムな1-D畳み込みカーネルが必要である。
冗長カーネルを認識するように設計されたヒューリスティックアルゴリズムの開発にもかかわらず、進化アルゴリズムに固有の時間を要する性質は効率的な評価を妨げる。
モデルを効果的にpruneするために,シーケンシャル分類器の接続を解消し,冗長なランダムカーネルを特徴選択の観点から除去する。
第一のadmmに基づくアルゴリズムは群弾性ネット分類問題としてpruning challengeを定式化し、第二のコアアルゴリズムであるp-rocketは問題を2つの逐次段階に分岐させることにより、第一のアルゴリズムを大幅に加速する。
P-ROCKETのステージ1は動的に異なるペナルティを導入し、冗長カーネルを削除するためにグループレベルの正規化を効率的に実装する。
様々な時系列データセットによる実験結果から、P-ROCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、P-ROCKETよりも11倍高速であることが示された。
私たちのコードはhttps://github.com/ShaowuChen/P-ROCKETで公開されています。
関連論文リスト
- Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-15T04:57:37Z) - Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。
カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。
我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
論文 参考訳（メタデータ） (2022-10-27T14:48:49Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。
厳密な手法により分類性能は向上するが、計算コストが高い。
本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
論文 参考訳（メタデータ） (2022-09-11T22:44:19Z) - Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。
本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。
二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
論文 参考訳（メタデータ） (2022-07-13T08:37:42Z) - S-Rocket: Selective Random Convolution Kernels for Time Series
Classification [36.9596657353794]
ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。
計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。
最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
論文 参考訳（メタデータ） (2022-03-07T15:02:12Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳（メタデータ） (2020-12-28T17:19:32Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳（メタデータ） (2020-11-12T16:07:18Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。
最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。
対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
論文 参考訳（メタデータ） (2020-06-13T18:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。