論文の概要: P-ROCKET: Pruning Random Convolution Kernels for Time Series
Classification from a Feature Selection Perspective
- arxiv url: http://arxiv.org/abs/2309.08499v2
- Date: Mon, 5 Feb 2024 23:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 20:12:43.869524
- Title: P-ROCKET: Pruning Random Convolution Kernels for Time Series
Classification from a Feature Selection Perspective
- Title(参考訳): P-ROCKET:特徴選択から見た時系列分類のためのランダム畳み込みカーネル
- Authors: Shaowu Chen, Weize Sun, Lei Huang, Xiaopeng Li, Qingyuan Wang, Deepu
John
- Abstract要約: 2つの時系列分類モデル、ROCKETとMINIROCKETは、特徴を捉えるために多数のランダムな1-D畳み込みカーネルを必要とする。
本稿では,効果的にモデルを作成するための2つの革新的アルゴリズムを提案する。
実験の結果、P-ROCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、P-ROCKETよりも11倍高速であることがわかった。
- 参考スコア(独自算出の注目度): 8.857676036929245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, two competitive time series classification models, namely,
ROCKET and MINIROCKET, have garnered considerable attention due to their low
training cost and high accuracy. However, they require a large number of random
1-D convolutional kernels to comprehensively capture features, which is
incompatible with resource-constrained devices. Despite the development of
heuristic algorithms designed to recognize and prune redundant kernels, the
inherent time-consuming nature of evolutionary algorithms hinders efficient
evaluation. To effectively prune models, this paper removes redundant random
kernels from a feature selection perspective by eliminating associating
connections in the sequential classifier. Two innovative algorithms are
proposed, where the first ADMM-based algorithm formulates the pruning challenge
as a group elastic net classification problem, and the second core algorithm
named P-ROCKET greatly accelerates the first one by bifurcating the problem
into two sequential stages. Stage 1 of P-ROCKET introduces dynamically varying
penalties to efficiently implement group-level regularization to delete
redundant kernels, and Stage 2 employs element-level regularization on the
remaining features to refit a linear classifier for better performance.
Experimental results on diverse time series datasets show that P-ROCKET prunes
up to 60% of kernels without a significant reduction in accuracy and performs
11 times faster than its counterparts. Our code is publicly available at
https://github.com/ShaowuChen/P-ROCKET.
- Abstract(参考訳): 近年、ROCKETとMINIROCKETという2つの競合時系列分類モデルが、トレーニングコストの低さと高い精度で注目されている。
しかし、リソース制約のあるデバイスと互換性のない機能を包括的にキャプチャするには、多数のランダムな1-D畳み込みカーネルが必要である。
冗長カーネルを認識するように設計されたヒューリスティックアルゴリズムの開発にもかかわらず、進化アルゴリズムに固有の時間を要する性質は効率的な評価を妨げる。
モデルを効果的にpruneするために,シーケンシャル分類器の接続を解消し,冗長なランダムカーネルを特徴選択の観点から除去する。
第一のadmmに基づくアルゴリズムは群弾性ネット分類問題としてpruning challengeを定式化し、第二のコアアルゴリズムであるp-rocketは問題を2つの逐次段階に分岐させることにより、第一のアルゴリズムを大幅に加速する。
P-ROCKETのステージ1は動的に異なるペナルティを導入し、冗長カーネルを削除するためにグループレベルの正規化を効率的に実装する。
様々な時系列データセットによる実験結果から、P-ROCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、P-ROCKETよりも11倍高速であることが示された。
私たちのコードはhttps://github.com/ShaowuChen/P-ROCKETで公開されています。
関連論文リスト
- Compact NSGA-II for Multi-objective Feature Selection [0.24578723416255746]
特徴選択を,分類精度を最大化し,選択した特徴数の最小化を目的とした多目的バイナリ最適化タスクとして定義する。
最適な特徴を選択するために,2進圧縮型NSGA-II (CNSGA-II) アルゴリズムを提案する。
我々の知る限りでは、これは特徴選択のために提案された最初のコンパクトな多目的アルゴリズムである。
論文 参考訳(メタデータ) (2024-02-20T01:10:12Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。
カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。
我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
論文 参考訳(メタデータ) (2022-10-27T14:48:49Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。
本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。
二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
論文 参考訳(メタデータ) (2022-07-13T08:37:42Z) - S-Rocket: Selective Random Convolution Kernels for Time Series
Classification [36.9596657353794]
ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。
計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。
最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
論文 参考訳(メタデータ) (2022-03-07T15:02:12Z) - Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。
本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。
次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
論文 参考訳(メタデータ) (2021-09-26T19:56:45Z) - Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization
Minimization [6.41804410246642]
特徴選択は、データマイニングと機械学習において重要な計算処理である。
本稿では,複数クラスの特徴選択における最小二乗問題の解法として,ホモシーハードしきい値(HIHT)に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-08T02:06:06Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳(メタデータ) (2020-08-23T20:36:49Z) - A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。
最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。
対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
論文 参考訳(メタデータ) (2020-06-13T18:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。