論文の概要: Don't freeze: Finetune encoders for better Self-Supervised HAR

• arxiv url: http://arxiv.org/abs/2307.01168v1
• Date: Mon, 3 Jul 2023 17:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 12:10:02.113072
• Title: Don't freeze: Finetune encoders for better Self-Supervised HAR
• Title（参考訳）: フリーズしないで! ファインチューンエンコーダーで自走式HARを改良
• Authors: Vitor Fortes Rey, Dominique Nshimyimana, Paul Lukowicz
• Abstract要約: 簡単な変更 — 表現を凍結するのではなく — によって、プリテキストタスク間でパフォーマンスが大幅に向上することを示す。 この改善は、調査された4つのデータセット、および4つのプレテキストタスクすべてで発見され、ラベル付きデータの量に比例する。
• 参考スコア（独自算出の注目度）: 5.008235182488304
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently self-supervised learning has been proposed in the field of human activity recognition as a solution to the labelled data availability problem. The idea being that by using pretext tasks such as reconstruction or contrastive predictive coding, useful representations can be learned that then can be used for classification. Those approaches follow the pretrain, freeze and fine-tune procedure. In this paper we will show how a simple change - not freezing the representation - leads to substantial performance gains across pretext tasks. The improvement was found in all four investigated datasets and across all four pretext tasks and is inversely proportional to amount of labelled data. Moreover the effect is present whether the pretext task is carried on the Capture24 dataset or directly in unlabelled data of the target dataset.
• Abstract（参考訳）: 近年,ラベル付きデータアベイラビリティ問題に対する解決策として,人間行動認識の分野で自己教師あり学習が提案されている。 レコンストラクションやコントラスト的予測符号化といったプリテキストタスクを使用することで、有用な表現を学習して分類することができる、というのがその考え方だ。 これらのアプローチは事前訓練、凍結、微調整の手順に従う。 本稿では,簡単な変更 – 表現を凍結するのではなく – が,プレテキストタスク間での大幅なパフォーマンス向上をもたらすことを示す。 この改善は、調査された4つのデータセット、および4つのプレテキストタスクすべてで発見され、ラベル付きデータの量に逆比例する。 さらに、プリテキストタスクがcapture24データセット上で実行されるか、ターゲットデータセットのラベルなしデータで直接実行されるかが、その効果を示す。

関連論文リスト

• Data Imputation by Pursuing Better Classification: A Supervised Kernel-Based Method [23.16359277296206]
  本稿では, 監視情報を効果的に活用し, 欠落したデータを分類する手法を提案する。 我々のアルゴリズムは、データの60%以上が欠落している場合、他の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-05-13T14:44:02Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
  オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。 注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。 当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
  論文  参考訳（メタデータ） (2020-12-21T12:25:04Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。