論文の概要: Enhancing deep learning models for time series classification via knowledge distillation

• arxiv url: http://arxiv.org/abs/2607.06796v1
• Date: Tue, 07 Jul 2026 20:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.210503
• Title: Enhancing deep learning models for time series classification via knowledge distillation
• Title（参考訳）: 知識蒸留による時系列分類のためのディープラーニングモデルの強化
• Abstract要約: 知識蒸留(KD)は、大きな教師モデルからより小さく、より効率的な学生モデルに知識を移すことによってこの問題に対処する。 時系列データセットの最大のベンチマークリポジトリであるUCR Archiveに対する我々のアプローチを評価する。
• 参考スコア（独自算出の注目度）: 0.49387059996366106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved remarkable success in various domains including time series analysis, computer vision and natural language processing. However, high computational and memory demands of state-of-the-art architectures pose challenges for deployment in resource-limited environments. Knowledge Distillation (KD) addresses this by transferring knowledge from a large teacher model to a smaller, more efficient student model while maintaining competitive performance. In this work, we investigate the effectiveness of KD for Time Series Classification (TSC) across three architectures: the classical Fully Convolutional Network (FCN), the convolutional Inception model and the transformer-based ConvTran model. We evaluate our approach on UCR Archive, the largest benchmark repository of time series datasets, by modifying architectural components such as convolutional filters, Inception modules and attention heads across the three architectures. Our results consistently show that KD most effectively benefits student models of intermediate complexity across all three architectures, with the distilled FCN student reducing parameters by a factor of 38, the distilled Inception student achieving nearly the same performance as the teacher with 42% fewer parameters and the distilled ConvTran student with 2 attention heads showing the most significant improvement through distillation. To encourage further research and reproducibility, we provide our implementation at https://github.com/MSD-IRIMAS/KD-4-TSC.
• Abstract（参考訳）: ディープラーニングは時系列分析、コンピュータビジョン、自然言語処理など、様々な領域で顕著な成功を収めてきた。 しかし、最先端アーキテクチャの高度な計算とメモリ要求は、リソース制限された環境でのデプロイメントに困難をもたらす。 知識蒸留(KD)は、競争性能を維持しながら、大きな教師モデルからより小さくより効率的な学生モデルに知識を移すことによってこの問題に対処する。 本研究では,古典的完全畳み込みネットワーク(FCN),畳み込みインセプションモデル,トランスフォーマーに基づくConvTranモデルという,時系列分類(TSC)におけるKDの有効性について検討する。 コンボリューションフィルタやインセプションモジュール,アテンションヘッドなどのアーキテクチャコンポーネントを3つのアーキテクチャにわたって変更することで,時系列データセットのベンチマークリポジトリとして最大であるUCC Archiveに対するアプローチを評価した。 以上の結果から,KDは3つのアーキテクチャの中間的複雑性の学生モデルに対して,蒸留したFCN学生のパラメータを38倍に減らし,蒸留したインセプション学生は42%のパラメータを持つ教師とほぼ同等の性能を示した。 さらなる研究と再現性を促進するため、https://github.com/MSD-IRIMAS/KD-4-TSCで実施する。

関連論文リスト

• Empirical Evaluation of Knowledge Distillation from Transformers to Subquadratic Language Models [3.287942619833188]
  本研究では,トランスフォーマーの教師モデルから8つのサブクワッドラティックな学生アーキテクチャへの知識蒸留の伝達可能性について,体系的に評価する。 本研究では,教師モデルの知識蒸留による学習表現を最も効果的に近似できるサブクワッドラティックモデルについて検討した。
  論文  参考訳（メタデータ） (2025-04-19T17:49:52Z)
• Perspective-Aware Teaching: Adapting Knowledge for Heterogeneous Distillation [36.18463357719423]
  多様なアーキテクチャにまたがる特徴蒸留を可能にするために,視点認識型KDフレームワークを導入した。 まず、学生のフィードバックを取り入れたプロンプトチューニングブロックを設計し、教師が生徒モデルの学習プロセスに適応できるようにする。
  論文  参考訳（メタデータ） (2025-01-15T15:56:06Z)
• Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification [4.489167091323233]
  Kolmogorov-Arnold Networks (KAN) はディープラーニングの代替として提案されている。 本稿では,UCRベンチマークアーカイブから117個のデータセットを用いた時系列分類のためのkanアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-22T13:01:36Z)
• Look Into the LITE in Deep Learning for Time Series Classification [6.708543240320757]
  ディープラーニングモデルは時系列分類の強力なソリューションであることが示されている。 我々は,最新のインセプションタイムモデルのパラメータの2.34%しか持たない,boosTing tEchnique (LITE) を用いた TSC の新しいアーキテクチャである Light Inception を提案する。 UCRでトレーニングされたLITEアーキテクチャは、InceptionTimeの2.78倍高速で、CO2と電力の2.79倍消費する。
  論文  参考訳（メタデータ） (2024-09-04T16:53:46Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• AUTOKD: Automatic Knowledge Distillation Into A Student Architecture Family [10.51711053229702]
  ディープラーニングの最先端の成果は、より大きなモデルを使用することによって、着実に改善されている。 知識蒸留(KD)は理論上、小学生がより大きな教師モデルをエミュレートすることを可能にするが、実際には優れた学生アーキテクチャを選択するにはかなりの専門知識が必要である。 本稿では,教師の学習に長けているという特性を共有する学生建築の家族を探すことを提案する。
  論文  参考訳（メタデータ） (2021-11-05T15:20:37Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。