論文の概要: Role of Data Augmentation Strategies in Knowledge Distillation for Wearable Sensor Data

• arxiv url: http://arxiv.org/abs/2201.00111v1
• Date: Sat, 1 Jan 2022 04:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 01:33:46.667288
• Title: Role of Data Augmentation Strategies in Knowledge Distillation for Wearable Sensor Data
• Title（参考訳）: ウェアラブルセンサデータの知識蒸留におけるデータ拡張戦略の役割
• Authors: Eun Som Jeon, Anirudh Som, Ankita Shukla, Kristina Hasanaj, Matthew P. Buman, Pavan Turaga
• Abstract要約: ウェアラブルデバイスにおける時系列データに対するKDの適用性と課題について検討する。 KD中に拡張アプローチを選択するコヒーレントな戦略が存在するかどうかはまだ分かっていない。 本研究は,人的活動と鎮静行動に関する大規模介入研究から得られた,小規模のデータベースを一般公開したデータベースについて考察する。
• 参考スコア（独自算出の注目度）: 6.638638309021825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are parametrized by several thousands or millions of parameters, and have shown tremendous success in many classification problems. However, the large number of parameters makes it difficult to integrate these models into edge devices such as smartphones and wearable devices. To address this problem, knowledge distillation (KD) has been widely employed, that uses a pre-trained high capacity network to train a much smaller network, suitable for edge devices. In this paper, for the first time, we study the applicability and challenges of using KD for time-series data for wearable devices. Successful application of KD requires specific choices of data augmentation methods during training. However, it is not yet known if there exists a coherent strategy for choosing an augmentation approach during KD. In this paper, we report the results of a detailed study that compares and contrasts various common choices and some hybrid data augmentation strategies in KD based human activity analysis. Research in this area is often limited as there are not many comprehensive databases available in the public domain from wearable devices. Our study considers databases from small scale publicly available to one derived from a large scale interventional study into human activity and sedentary behavior. We find that the choice of data augmentation techniques during KD have a variable level of impact on end performance, and find that the optimal network choice as well as data augmentation strategies are specific to a dataset at hand. However, we also conclude with a general set of recommendations that can provide a strong baseline performance across databases.
• Abstract（参考訳）: ディープニューラルネットワークは数千から数百万のパラメータによってパラメータ化され、多くの分類問題で大きな成功を収めている。 しかし、多くのパラメータがこれらのモデルをスマートフォンやウェアラブルデバイスのようなエッジデバイスに統合することは困難である。 この問題に対処するために、知識蒸留(KD)が広く採用されており、エッジデバイスに適したより小さなネットワークをトレーニングするために、事前訓練された高容量ネットワークを使用している。 本稿では,ウェアラブルデバイスにおける時系列データにKDを使用することの適用性と課題について検討する。 kdの適用に成功するには、トレーニング中にデータ拡張方法の特定の選択が必要となる。 しかし、KD中に拡張アプローチを選択するコヒーレントな戦略が存在するかどうかはまだ分かっていない。 本稿では,KDに基づく人間活動分析において,様々な共通選択とハイブリッドデータ強化戦略を比較し,比較する詳細な研究結果について報告する。 この領域の研究は、ウェアラブルデバイスからパブリックドメインで利用可能な包括的なデータベースがほとんどないため、しばしば制限される。 本研究は,人的活動と鎮静行動に関する大規模介入研究から得られた,小規模のデータベースを一般公開した。 KDにおけるデータ拡張手法の選択は、エンドパフォーマンスに様々な影響を及ぼすことが分かり、最適なネットワーク選択とデータ拡張戦略が、手元にあるデータセットに特有のものであることが判明した。 しかし、データベース全体にわたって強力なベースラインパフォーマンスを提供するための、一般的な推奨セットもまとめています。

関連論文リスト

• Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
  知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。 KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。 本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T14:43:27Z)
• How Much Data are Enough? Investigating Dataset Requirements for Patch-Based Brain MRI Segmentation Tasks [74.21484375019334]
  ディープニューラルネットワークを確実にトレーニングするには、大規模なデータセットへのアクセスが必要である。 モデル開発に関連する時間的・経済的コストを緩和するためには,満足度の高いモデルをトレーニングするために必要なデータの量を明確に理解することが重要である。 本稿では,パッチベースのセグメンテーションネットワークのトレーニングに必要なアノテートデータの量を推定するための戦略的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-04T13:55:06Z)
• Practical Insights into Knowledge Distillation for Pre-Trained Models [6.085875355032475]
  本研究では,事前学習モデルにおける知識蒸留(KD)プロセスの強化について検討する。 事前訓練されたモデル間で知識を伝達するための多くのKDアプローチが採用されているにもかかわらず、KDの応用に関する包括的な理解は欠如している。 本研究は,標準KD,調整KD(最適化温度および重みパラメータ),深層相互学習,データ分割KDなど,複数のKD技術の比較を行った。
  論文  参考訳（メタデータ） (2024-02-22T19:07:08Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Categories of Response-Based, Feature-Based, and Relation-Based Knowledge Distillation [10.899753512019933]
  知識蒸留(KD)は、軽量ネットワークの最適化を目的としている。 KDは主に知識抽出と蒸留戦略を含む。 本稿では,知識カテゴリ,蒸留スキーム,アルゴリズムなどを含む総合的なKD調査を行う。
  論文  参考訳（メタデータ） (2023-06-19T03:42:44Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Modality-specific Distillation [30.190082262375395]
  マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。 私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。 各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
  論文  参考訳（メタデータ） (2021-01-06T05:45:07Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。