論文の概要: P-ROCKET: Pruning Random Convolution Kernels for Time Series Classification

• arxiv url: http://arxiv.org/abs/2309.08499v1
• Date: Fri, 15 Sep 2023 16:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 14:04:07.643741
• Title: P-ROCKET: Pruning Random Convolution Kernels for Time Series Classification
• Title（参考訳）: P-ROCKET:時系列分類のためのランダム畳み込みカーネル
• Authors: Shaowu Chen, Weize Sun, Lei Huang, Xiaopeng Li, Qingyuan Wang, Deepu John
• Abstract要約: ROCKETとMINIROCKETの2つの時系列分類モデルは、トレーニングコストの低さと最先端の精度で多くの注目を集めている。 有用な機能を包括的に捉えるには、リソース制約のあるデバイスでは互換性のない多数のランダムカーネルが必要である。
• 参考スコア（独自算出の注目度）: 8.857676036929245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, two time series classification models, ROCKET and MINIROCKET, have attracted much attention for their low training cost and state-of-the-art accuracy. Utilizing random 1-D convolutional kernels without training, ROCKET and MINIROCKET can rapidly extract features from time series data, allowing for the efficient fitting of linear classifiers. However, to comprehensively capture useful features, a large number of random kernels are required, which is incompatible for resource-constrained devices. Therefore, a heuristic evolutionary algorithm named S-ROCKET is devised to recognize and prune redundant kernels. Nevertheless, the inherent nature of evolutionary algorithms renders the evaluation of kernels within S-ROCKET an unacceptable time-consuming process. In this paper, diverging from S-ROCKET, which directly evaluates random kernels with nonsignificant differences, we remove kernels from a feature selection perspective by eliminating associating connections in the sequential classification layer. To this end, we start by formulating the pruning challenge as a Group Elastic Net classification problem and employ the ADMM method to arrive at a solution. Sequentially, we accelerate the aforementioned time-consuming solving process by bifurcating the $l_{2,1}$ and $l_2$ regularizations into two sequential stages and solve them separately, which ultimately forms our core algorithm, named P-ROCKET. Stage 1 of P-ROCKET employs group-wise regularization similarly to our initial ADMM-based Algorithm, but introduces dynamically varying penalties to greatly accelerate the process. To mitigate overfitting, Stage 2 of P-ROCKET implements element-wise regularization to refit a linear classifier, utilizing the retained features.
• Abstract（参考訳）: 近年、ROCKETとMINIROCKETという2つの時系列分類モデルが、トレーニングコストの低さと最先端の精度で注目を集めている。 トレーニングなしでランダムな1-D畳み込みカーネルを利用することで、ROCKETとMINIROCKETは時系列データから特徴を素早く抽出し、線形分類器の効率よく適合させることができる。 しかし、有用な機能を包括的に捉えるには、リソース制約のあるデバイスでは互換性のない多数のランダムカーネルが必要である。 したがって、S-ROCKETと呼ばれるヒューリスティックな進化的アルゴリズムは冗長カーネルを認識およびプルーンするために考案された。 それでも、進化的アルゴリズムの本質的な性質は、S-ROCKET内のカーネルの評価を許容できない時間を要するプロセスにしている。 本稿では,S-ROCKETを非有意差で直接評価するS-ROCKETから切り離して,シーケンシャルな分類層における接続を排除し,特徴選択の観点からカーネルを除去する。 この目的のために,グループ弾性ネット分類問題としてプルーニング課題を定式化し,ADMM法を用いて解に到達させることから始める。 続いて、上記の時間を割いた解法を、$l_{2,1}$と$l_2$の正規化を2つの逐次段階に分岐させ、それらを個別に解き、最終的に我々のコアアルゴリズムであるP-ROCKETを形成する。 P-ROCKETのステージ1は、初期のADMMアルゴリズムと同様のグループワイド正規化を採用しているが、プロセスを大幅に高速化するために動的に異なるペナルティを導入している。 オーバーフィッティングを軽減するため、P-ROCKETのステージ2では、保持された特徴を利用して線形分類器を適合させる要素ワイド正規化を実装している。

関連論文リスト

• Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
  カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。 従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。 本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-15T04:57:37Z)
• Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
  我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。 カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。 我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
  論文  参考訳（メタデータ） (2022-10-27T14:48:49Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。 本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。 二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
  論文  参考訳（メタデータ） (2022-07-13T08:37:42Z)
• S-Rocket: Selective Random Convolution Kernels for Time Series Classification [36.9596657353794]
  ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。 計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。 最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-03-07T15:02:12Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
  カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。 最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。 対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
  論文  参考訳（メタデータ） (2020-06-13T18:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。