論文の概要: Role of Mixup in Topological Persistence Based Knowledge Distillation for Wearable Sensor Data

• arxiv url: http://arxiv.org/abs/2502.00779v1
• Date: Sun, 02 Feb 2025 12:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:23.713353
• Title: Role of Mixup in Topological Persistence Based Knowledge Distillation for Wearable Sensor Data
• Title（参考訳）: ウェアラブルセンサデータにおけるトポロジカルパーシスタンスに基づく知識蒸留における混合の役割
• Authors: Eun Som Jeon, Hongjun Choi, Matthew P. Buman, Pavan Turaga,
• Abstract要約: 我々は,KDと時系列,およびトポロジカルな持続性とが混在するKDの役割を,複数の教師を用いて分析した。 ウェアラブルセンサデータにおけるKDおよびミックスアップの様々な手法の包括的解析について述べる。
• 参考スコア（独自算出の注目度）: 3.6579002555961915
• License:
• Abstract: The analysis of wearable sensor data has enabled many successes in several applications. To represent the high-sampling rate time-series with sufficient detail, the use of topological data analysis (TDA) has been considered, and it is found that TDA can complement other time-series features. Nonetheless, due to the large time consumption and high computational resource requirements of extracting topological features through TDA, it is difficult to deploy topological knowledge in various applications. To tackle this problem, knowledge distillation (KD) can be adopted, which is a technique facilitating model compression and transfer learning to generate a smaller model by transferring knowledge from a larger network. By leveraging multiple teachers in KD, both time-series and topological features can be transferred, and finally, a superior student using only time-series data is distilled. On the other hand, mixup has been popularly used as a robust data augmentation technique to enhance model performance during training. Mixup and KD employ similar learning strategies. In KD, the student model learns from the smoothed distribution generated by the teacher model, while mixup creates smoothed labels by blending two labels. Hence, this common smoothness serves as the connecting link that establishes a connection between these two methods. In this paper, we analyze the role of mixup in KD with time-series as well as topological persistence, employing multiple teachers. We present a comprehensive analysis of various methods in KD and mixup on wearable sensor data.
• Abstract（参考訳）: ウェアラブルセンサデータの解析は、いくつかのアプリケーションで多くの成功を収めた。 高サンプリングレートの時系列を十分に詳細に表現するために、トポロジカルデータ解析(TDA)の利用が検討され、他の時系列特徴を補完できることが判明した。 しかし,TDAによるトポロジカルな特徴の抽出には,時間消費と計算資源の要求が大きいため,様々なアプリケーションにおいてトポロジカルな知識の展開は困難である。 この問題に対処するために、より大規模なネットワークから知識を伝達することによってより小さなモデルを生成するためのモデル圧縮および伝達学習を容易にする技術である知識蒸留(KD)を採用することができる。 複数の教師をKDで活用することにより、時系列とトポロジ的特徴の両方を移譲することができ、最終的に時系列データのみを用いた優れた学生を蒸留する。 一方、Mixupはトレーニング中のモデルパフォーマンスを向上させるために、堅牢なデータ拡張技術として広く使用されている。 MixupとKDも同様の学習戦略を採用している。 KDでは、学生モデルは教師モデルによって生成された滑らかな分布から学習し、ミックスアップは2つのラベルを混ぜることで滑らかなラベルを生成する。 したがって、この一般的な滑らかさは、これらの2つの方法の間の接続を確立する接続リンクとして機能する。 本稿では,KDにおける時系列とトポロジ的持続性の役割を,複数の教師を雇用して分析する。 ウェアラブルセンサデータにおけるKDおよびミックスアップの様々な手法の包括的解析について述べる。

関連論文リスト

• Faithful Label-free Knowledge Distillation [8.572967695281054]
  本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。 より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
  論文  参考訳（メタデータ） (2024-11-22T01:48:44Z)
• Topological Persistence Guided Knowledge Distillation for Wearable Sensor Data [15.326571438985466]
  トポロジカルデータ解析(TDA)によって得られるトポロジカルな特徴は潜在的な解決策として提案されている。 深層学習にトポロジ的特徴を用いることには2つの大きな障害がある。 そこで本研究では,生の時系列データに基づいてトレーニングした教師ネットワークと,TDA法により生成された永続性画像に基づいてトレーニングした教師ネットワークの2つを提案する。 頑健な学生モデルを蒸留し、トポロジ的特徴を暗黙的に保存しながら、時系列データのみを入力として使用する。
  論文  参考訳（メタデータ） (2024-07-07T10:08:34Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Understanding the Role of Mixup in Knowledge Distillation: An Empirical Study [4.751886527142779]
  Mixupは、2つのデータサンプル間の線形一般化による新しいサンプルの作成に基づく、一般的なデータ拡張技術である。 知識蒸留(KD)はモデル圧縮と伝達学習に広く用いられている。 スムースネス」は両者のつながりであり、KDとミックスアップの相互作用を理解する上でも重要な属性である。
  論文  参考訳（メタデータ） (2022-11-08T01:43:14Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Preventing Catastrophic Forgetting and Distribution Mismatch in Knowledge Distillation via Synthetic Data [5.064036314529226]
  本稿では,データフリーなKDフレームワークを提案する。 実験により,KDを用いて得られた学生モデルの精度を,最先端の手法と比較して向上できることが実証された。
  論文  参考訳（メタデータ） (2021-08-11T08:11:08Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。