論文の概要: Detach-ROCKET: Sequential feature selection for time series
classification with random convolutional kernels
- arxiv url: http://arxiv.org/abs/2309.14518v2
- Date: Mon, 23 Oct 2023 22:54:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 23:22:35.658787
- Title: Detach-ROCKET: Sequential feature selection for time series
classification with random convolutional kernels
- Title(参考訳): detach-rocket:ランダム畳み込みカーネルを用いた時系列分類のための逐次特徴選択
- Authors: Gonzalo Uribarri, Federico Barone, Alessio Ansuini, Erik Frans\'en
- Abstract要約: 連続特徴分離(SFD)を,これらの非連続特徴を識別・特定する手法として導入する。
SFDは特徴量の推定にモデル係数を使用し、従来のアルゴリズムとは異なり、大きな特徴集合を扱うことができる。
また,特徴量とモデル精度の最適バランスを決定するためのエンドツーエンドの手法を提案する。
- 参考スコア(独自算出の注目度): 0.8192907805418583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time Series Classification (TSC) is essential in many fields, such as
medicine, environmental science and finance, enabling tasks like disease
diagnosis, anomaly detection, and stock price analysis. Machine learning models
for TSC like Recurrent Neural Networks and InceptionTime, while successful in
numerous applications, can face scalability limitations due to intensive
computational requirements. To address this, efficient models such as ROCKET
and its derivatives have emerged, simplifying training and achieving
state-of-the-art performance by utilizing a large number of randomly generated
features from time series data. However, due to their random nature, most of
the generated features are redundant or non-informative, adding unnecessary
computational load and compromising generalization. Here, we introduce
Sequential Feature Detachment (SFD) as a method to identify and prune these
non-essential features. SFD uses model coefficients to estimate feature
importance and, unlike previous algorithms, can handle large feature sets
without the need for complex hyperparameter tuning. Testing on the UCR archive
demonstrates that SFD can produce models with $10\%$ of the original features
while improving the accuracy $0.2\%$ on the test set. We also present an
end-to-end procedure for determining an optimal balance between the number of
features and model accuracy, called Detach-ROCKET. When applied to the largest
binary UCR dataset, Detach-ROCKET is able to improve test accuracy by $0.6\%$
while reducing the number of features by $98.9\%$. Thus, our proposed procedure
is not only lightweight to train and effective in reducing model size and
enhancing generalization, but its significant reduction in feature count also
paves the way for feature interpretation.
- Abstract(参考訳): 時系列分類(TSC)は、医学、環境科学、金融など多くの分野において必須であり、疾患診断、異常検出、株価分析などのタスクを可能にする。
Recurrent Neural NetworksやInceptionTimeのようなTSC用の機械学習モデルは、多くのアプリケーションで成功したが、計算要求の集中によるスケーラビリティの制限に直面している。
これを解決するために、ROCKETなどの効率的なモデルが登場し、時系列データから多数のランダムに生成された特徴を活用して、トレーニングを簡素化し、最先端の性能を達成する。
しかし、そのランダムな性質のため、生成した特徴の多くは冗長あるいは非形式的であり、不要な計算負荷を加え、一般化を促進する。
本稿では、これらの非意味的特徴を識別し、引き起こす方法として、逐次的特徴分離(Sequential Feature Detachment:SFD)を紹介する。
SFDは特徴量の推定にモデル係数を使用し、従来のアルゴリズムとは異なり、複雑なハイパーパラメータチューニングを必要とせずに大きな特徴集合を処理できる。
UCRアーカイブでのテストでは、SFDはオリジナルの機能の10\%$でモデルを生成できるが、テストセットの精度は0.2\%$である。
また,Detach-ROCKETと呼ばれる特徴量とモデル精度の最適バランスを決定するためのエンドツーエンドの手法を提案する。
最大のバイナリ UCR データセットに適用すると、Detach-ROCKET はテストの精度を 0.6 %$ 改善し、フィーチャの数を 9.9 %$ 削減できる。
したがって,提案手法はトレーニングに軽量であり,モデルサイズの削減や一般化の促進に有効であるだけでなく,特徴数の減少も特徴解釈の道を開く。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳(メタデータ) (2023-11-27T12:59:52Z) - Tune As You Scale: Hyperparameter Optimization For Compute Efficient
Training [0.0]
そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。
CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。
その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
論文 参考訳(メタデータ) (2023-06-13T18:22:24Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳(メタデータ) (2023-04-14T09:39:06Z) - FAStEN: an efficient adaptive method for feature selection and
estimation in high-dimensional functional regressions [8.384075654211685]
本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。
我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。
AOMIC PIOP1による脳MRIデータへの応用について述べる。
論文 参考訳(メタデータ) (2023-03-26T19:41:17Z) - Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression [0.0]
ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。
項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
論文 参考訳(メタデータ) (2022-05-26T23:41:43Z) - Online Feature Selection for Efficient Learning in Networked Systems [3.13468877208035]
データ駆動エンジニアリングのための現在のAI/MLメソッドは、主にオフラインでトレーニングされたモデルを使用する。
多数の利用可能なデータソースから小さな特徴セットを選択するオンライン安定特徴セットアルゴリズム(OSFS)を提案する。
OSFSは、調査されたすべてのデータセットに対して、1~3桁の規模で設定された機能のサイズを大幅に削減する。
論文 参考訳(メタデータ) (2021-12-15T16:31:59Z) - SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning [3.775565013663731]
IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。
提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
論文 参考訳(メタデータ) (2021-12-07T21:32:28Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Brain Image Synthesis with Unsupervised Multivariate Canonical
CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文 参考訳(メタデータ) (2021-03-22T05:19:40Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。