論文の概要: Topological Persistence Guided Knowledge Distillation for Wearable Sensor Data

• arxiv url: http://arxiv.org/abs/2407.05315v1
• Date: Sun, 7 Jul 2024 10:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:17:13.054382
• Title: Topological Persistence Guided Knowledge Distillation for Wearable Sensor Data
• Title（参考訳）: ウェアラブルセンサデータのトポロジカルパーシスタンスガイドによる知識蒸留
• Authors: Eun Som Jeon, Hongjun Choi, Ankita Shukla, Yuan Wang, Hyunglae Lee, Matthew P. Buman, Pavan Turaga,
• Abstract要約: トポロジカルデータ解析(TDA)によって得られるトポロジカルな特徴は潜在的な解決策として提案されている。 深層学習にトポロジ的特徴を用いることには2つの大きな障害がある。 そこで本研究では,生の時系列データに基づいてトレーニングした教師ネットワークと,TDA法により生成された永続性画像に基づいてトレーニングした教師ネットワークの2つを提案する。 頑健な学生モデルを蒸留し、トポロジ的特徴を暗黙的に保存しながら、時系列データのみを入力として使用する。
• 参考スコア（独自算出の注目度）: 15.326571438985466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning methods have achieved a lot of success in various applications involving converting wearable sensor data to actionable health insights. A common application areas is activity recognition, where deep-learning methods still suffer from limitations such as sensitivity to signal quality, sensor characteristic variations, and variability between subjects. To mitigate these issues, robust features obtained by topological data analysis (TDA) have been suggested as a potential solution. However, there are two significant obstacles to using topological features in deep learning: (1) large computational load to extract topological features using TDA, and (2) different signal representations obtained from deep learning and TDA which makes fusion difficult. In this paper, to enable integration of the strengths of topological methods in deep-learning for time-series data, we propose to use two teacher networks, one trained on the raw time-series data, and another trained on persistence images generated by TDA methods. The distilled student model utilizes only the raw time-series data at test-time. This approach addresses both issues. The use of KD with multiple teachers utilizes complementary information, and results in a compact model with strong supervisory features and an integrated richer representation. To assimilate desirable information from different modalities, we design new constraints, including orthogonality imposed on feature correlation maps for improving feature expressiveness and allowing the student to easily learn from the teacher. Also, we apply an annealing strategy in KD for fast saturation and better accommodation from different features, while the knowledge gap between the teachers and student is reduced. Finally, a robust student model is distilled, which uses only the time-series data as an input, while implicitly preserving topological features.
• Abstract（参考訳）: ディープラーニングの手法は、ウェアラブルセンサーデータを行動可能な健康情報に変換する様々なアプリケーションで多くの成功を収めてきた。 一般的な応用分野は、活動認識であり、深層学習法は、信号品質に対する感度、センサ特性の変化、被験者間の多様性といった制限に悩まされている。 これらの問題を緩和するために、トポロジカルデータ解析(TDA)によって得られるロバストな特徴が潜在的な解決策として提案されている。 しかし, 深層学習におけるトポロジ的特徴の活用には, 1) TDAを用いてトポロジ的特徴を抽出する大きな計算負荷, 2) 深層学習と融合を困難にするTDAから得られる異なる信号表現の2つの大きな障害がある。 本稿では,時系列データの深層学習におけるトポロジ的手法の強みを統合するために,生の時系列データに基づいてトレーニングした教師ネットワークと,TDA法により生成された永続性画像に基づいてトレーニングした教師ネットワークを提案する。 蒸留された学生モデルは、テスト時に生の時系列データのみを利用する。 このアプローチは両方の問題に対処します。 複数の教師によるKDの使用は相補的な情報を利用し、強力な監督機能とより統合されたリッチな表現を備えたコンパクトなモデルをもたらす。 異なるモダリティから望ましい情報を同化するために,特徴相関マップに課される直交性を含む新たな制約を設計し,特徴表現性を向上し,生徒が教師から容易に学べるようにした。 また,教師と学生の知識ギャップを減らしながら,KDにアニーリング戦略を適用した。 最後に、ロバストな学生モデルを蒸留し、トポロジ的特徴を暗黙的に保存しながら、時系列データのみを入力として使用する。

関連論文リスト

• Underwater Object Detection in the Era of Artificial Intelligence: Current, Challenge, and Future [119.88454942558485]
  水中物体検出(UOD)は、水中の画像やビデオ中の物体を識別し、ローカライズすることを目的としている。 近年、人工知能(AI)に基づく手法、特に深層学習法は、UODにおいて有望な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T00:25:33Z)
• Leveraging Topological Guidance for Improved Knowledge Distillation [0.0]
  画像分類タスクのためのトポロジカルガイダンスベース知識蒸留(TGD)というフレームワークを提案する。 我々はKDを利用して優れた軽量モデルを訓練し、同時に複数の教師にトポロジ的特徴を提供する。 本稿では,教師と生徒の知識ギャップを減らし,異なる教師の機能を統合するメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-07-07T10:09:18Z)
• Hyperspectral Image Analysis in Single-Modal and Multimodal setting using Deep Learning Techniques [1.2328446298523066]
  ハイパースペクトルイメージングは、その例外的なスペクトル分解能のため、土地利用とカバーの正確な分類を提供する。 しかし、高次元化と空間分解能の制限による課題は、その効果を妨げている。 本研究では,深層学習技術を用いて特徴を効率的に処理し,抽出し,データを統合的に分類することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-03T15:47:43Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Practical Edge Detection via Robust Collaborative Learning [11.176517889212015]
  エッジ検出は、幅広いビジョン指向タスクのコアコンポーネントである。 目標を達成するためには,2つの重要な問題に対処する必要がある。 非効率なトレーニング済みバックボーンからディープエッジモデルを緩和する方法。 トレーニングデータにおいて、ノイズや間違ったラベルからネガティブな影響を解放する方法。
  論文  参考訳（メタデータ） (2023-08-27T12:12:27Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Cross-modal Knowledge Distillation for Vision-to-Sensor Action Recognition [12.682984063354748]
  本研究では、VSKDフレームワークをエンドツーエンドで導入する。 このVSKDフレームワークでは、テストフェーズ中にウェアラブルデバイスから必要となるのは時系列データ(加速度計データ)のみである。 このフレームワークは、エッジデバイスに対する計算要求を減らすだけでなく、計算コストのかかるマルチモーダルアプローチのパフォーマンスと密に一致した学習モデルも生成する。
  論文  参考訳（メタデータ） (2021-10-08T15:06:38Z)
• Invariant Feature Learning for Sensor-based Human Activity Recognition [11.334750079923428]
  被験者やデバイス間で共有される共通情報を抽出する不変特徴学習フレームワーク(IFLF)を提案する。 実験により、IFLFは、一般的なオープンデータセットと社内データセットをまたいだ主題とデバイスディバージョンの両方を扱うのに効果的であることが示された。
  論文  参考訳（メタデータ） (2020-12-14T21:56:17Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。