論文の概要: Explaining, Analyzing, and Probing Representations of Self-Supervised
Learning Models for Sensor-based Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2304.07304v2
- Date: Mon, 31 Jul 2023 15:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 23:07:51.044258
- Title: Explaining, Analyzing, and Probing Representations of Self-Supervised
Learning Models for Sensor-based Human Activity Recognition
- Title（参考訳）: センサに基づく人間行動認識のための自己教師あり学習モデルの説明、分析、および探索
- Authors: Bulat Khaertdinov and Stylianos Asteriadis
- Abstract要約: 自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。
本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
- 参考スコア（独自算出の注目度）: 2.2082422928825136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, self-supervised learning (SSL) frameworks have been
extensively applied to sensor-based Human Activity Recognition (HAR) in order
to learn deep representations without data annotations. While SSL frameworks
reach performance almost comparable to supervised models, studies on
interpreting representations learnt by SSL models are limited. Nevertheless,
modern explainability methods could help to unravel the differences between SSL
and supervised representations: how they are being learnt, what properties of
input data they preserve, and when SSL can be chosen over supervised training.
In this paper, we aim to analyze deep representations of two recent SSL
frameworks, namely SimCLR and VICReg. Specifically, the emphasis is made on (i)
comparing the robustness of supervised and SSL models to corruptions in input
data; (ii) explaining predictions of deep learning models using saliency maps
and highlighting what input channels are mostly used for predicting various
activities; (iii) exploring properties encoded in SSL and supervised
representations using probing. Extensive experiments on two single-device
datasets (MobiAct and UCI-HAR) have shown that self-supervised learning
representations are significantly more robust to noise in unseen data compared
to supervised models. In contrast, features learnt by the supervised approaches
are more homogeneous across subjects and better encode the nature of
activities.
- Abstract（参考訳）: 近年,データアノテーションを使わずに深い表現を学習するために,センサベースのヒューマンアクティビティ認識(HAR)にSSLフレームワークが広く適用されている。
SSLフレームワークは、ほとんど教師付きモデルに匹敵するパフォーマンスに達するが、SSLモデルによって学習された表現の解釈に関する研究は限られている。
それでも、現代的な説明可能性メソッドは、SSLと教師付き表現の違いを明らかにするのに役立つ。
本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
特に強調されるのは
(i)監督型及びsslモデルのロバスト性と入力データの腐敗の比較
(ii)サリエンシーマップを用いた深層学習モデルの予測を説明し、様々な活動の予測に主にどの入力チャネルが使われているかを強調する。
(iii)SSLでエンコードされたプロパティを探索し、プローブを用いて教師付き表現を行う。
2つの単一デバイスデータセット(MobiAct と UCI-HAR)の大規模な実験により、自己教師付き学習表現は教師なしモデルと比較して、目に見えないデータのノイズに対して著しく堅牢であることが示された。
対照的に、教師付きアプローチによって学習された特徴は、被験者間でより均質であり、活動の性質をよりよくエンコードする。
関連論文リスト
- A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。
SSL手法を体系的に分類する包括的分類法を開発した。
SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
論文 参考訳（メタデータ） (2024-08-30T07:38:28Z) - A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳（メタデータ） (2023-05-24T23:15:28Z) - Self-Supervised PPG Representation Learning Shows High Inter-Subject
Variability [3.8036939971290007]
本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。
結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。
SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
論文 参考訳（メタデータ） (2022-12-07T19:02:45Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳（メタデータ） (2022-07-22T03:49:50Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳（メタデータ） (2022-06-02T19:05:13Z) - High Fidelity Visualization of What Your Self-Supervised Representation
Knows About [22.982471878833362]
本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。
このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
論文 参考訳（メタデータ） (2021-12-16T19:23:33Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - A Study of the Generalizability of Self-Supervised Representations [0.0]
近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。
本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。
SSL表現はSL表現と比較して一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-09-19T15:57:37Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。