論文の概要: HIT-ROCKET: Hadamard-vector Inner-product Transformer for ROCKET

• arxiv url: http://arxiv.org/abs/2511.01572v1
• Date: Mon, 03 Nov 2025 13:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.276944
• Title: HIT-ROCKET: Hadamard-vector Inner-product Transformer for ROCKET
• Title（参考訳）: HIT-ROCKET:ROCKET用アダマールベクトル内積変圧器
• Authors: Wang Hao, Kuang Zhang, Hou Chengyu, Yuan Zhonghao, Tan Chenxing, Fu Weifeng, Zhu Yangying,
• Abstract要約: 時系列分類は、コミュニケーション、情報対策、金融、医療における幅広い応用価値を持っている。 最先端のSOTA(State-of-the-art)手法は、長いパラメータチューニングとトレーニングサイクルを組み合わせた高い計算複雑性を示す。 本研究では,アダマール行列の列ベクトルあるいは行ベクトルを,様々な大きさの長大な畳み込みカーネルとして利用した,アダマール畳み込み変換に基づく特徴抽出手法を提案する。
• 参考スコア（独自算出の注目度）: 0.039089069256361735
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series classification holds broad application value in communications, information countermeasures, finance, and medicine. However, state-of-the-art (SOTA) methods-including HIVE-COTE, Proximity Forest, and TS-CHIEF-exhibit high computational complexity, coupled with lengthy parameter tuning and training cycles. In contrast, lightweight solutions like ROCKET (Random Convolutional Kernel Transform) offer greater efficiency but leave substantial room for improvement in kernel selection and computational overhead. To address these challenges, we propose a feature extraction approach based on Hadamard convolutional transform, utilizing column or row vectors of Hadamard matrices as convolution kernels with extended lengths of varying sizes. This enhancement maintains full compatibility with existing methods (e.g., ROCKET) while leveraging kernel orthogonality to boost computational efficiency, robustness, and adaptability. Comprehensive experiments on multi-domain datasets-focusing on the UCR time series dataset-demonstrate SOTA performance: F1-score improved by at least 5% vs. ROCKET, with 50% shorter training time than miniROCKET (fastest ROCKET variant) under identical hyperparameters, enabling deployment on ultra-low-power embedded devices. All code is available on GitHub.
• Abstract（参考訳）: 時系列分類は、コミュニケーション、情報対策、金融、医療における幅広い応用価値を持っている。 しかし、HIVE-COTE、Proximity Forest、TS-CHIEFを含む最先端のSOTA(State-of-the-art)手法は、長いパラメータチューニングとトレーニングサイクルを兼ね備えた高い計算複雑性を持つ。 対照的に、ROCKET(Random Convolutional Kernel Transform)のような軽量なソリューションは、より効率が良いが、カーネルの選択と計算オーバーヘッドの改善には十分な余地を残している。 これらの課題に対処するために,アダマール行列の列ベクトルや行ベクトルを様々な大きさの長大な畳み込みカーネルとして利用した,アダマール畳み込み変換に基づく特徴抽出手法を提案する。 この拡張は、計算効率、堅牢性、適応性を高めるためにカーネル直交性を活用しながら、既存のメソッド(例えばROCKET)との完全な互換性を維持している。 マルチドメインデータセットに関する総合的な実験は、UCR時系列データセット-デーモンストレートSOTAのパフォーマンスに焦点をあてている。 F1スコアは、最低5%とROCKETで改善され、同じハイパーパラメータ下でのminiROCKET(最速のROCKET変種)よりも50%短いトレーニング時間で、超低消費電力の組み込みデバイスへのデプロイを可能にした。 すべてのコードはGitHubで入手できる。

関連論文リスト

• Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
  大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。 完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。 我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
  論文  参考訳（メタデータ） (2025-06-18T08:28:53Z)
• GMR-Conv: An Efficient Rotation and Reflection Equivariant Convolution Kernel Using Gaussian Mixture Rings [4.365790707793824]
  ガウス重み付き環の混合を用いて放射対称性を滑らかにする効率的な畳み込み核を導入する。 8つの分類と1つのセグメンテーションデータセットの実験は、GMR-Convが従来のCNNのパフォーマンスにマッチするだけでなく、向きのないデータを持つアプリケーションでもそれを上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-03T17:58:18Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。 本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。 我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Detach-ROCKET: Sequential feature selection for time series classification with random convolutional kernels [0.7499722271664144]
  ROCKETに基づくモデルにおいて, 逐次的特徴分離(Sequential Feature Detachment, SFD)を導入する。 SFDは、オリジナルの機能の10%しか使用せずに、より良いテスト精度でモデルを作成することができる。 また,特徴量とモデル精度の最適バランスを決定するためのエンドツーエンドの手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T20:24:36Z)
• POCKET: Pruning Random Convolution Kernels for Time Series Classification from a Feature Selection Perspective [8.359327841946852]
  時系列分類モデルであるPOCKETは、冗長カーネルを効率的にプルークするように設計されている。 POCKETは、精度を大幅に低下させることなく最大60%のカーネルを出力し、そのカーネルよりも11$times$高速に動作させる。 多様な時系列データセットによる実験結果から、POCKETは精度を著しく低下させることなく最大60%のカーネルを産み出し、それよりも11$times$高速に動作していることがわかった。
  論文  参考訳（メタデータ） (2023-09-15T16:03:23Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。