論文の概要: ADAPT^2: Adapting Pre-Trained Sensing Models to End-Users via Self-Supervision Replay

• arxiv url: http://arxiv.org/abs/2404.15305v1
• Date: Fri, 29 Mar 2024 08:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 11:06:36.843244
• Title: ADAPT^2: Adapting Pre-Trained Sensing Models to End-Users via Self-Supervision Replay
• Title（参考訳）: ADAPT^2:自己スーパービジョン・リプレイによるエンドユーザーへの事前学習センシングモデルの適用
• Authors: Hyungjun Yoon, Jaehyun Kwak, Biniyam Aschalew Tolera, Gaole Dai, Mo Li, Taesik Gong, Kimin Lee, Sung-Ju Lee,
• Abstract要約: 自己教師付き学習は、事前学習モデルに大量のラベルのないデータを活用する方法として登場した。 自己教師型モデルがヘテロジニアス領域で微調整された場合に発生する性能劣化について検討する。 本稿では,自己教師付きモデルをパーソナライズするためのドメイン適応フレームワークADAPT2を提案する。
• 参考スコア（独自算出の注目度）: 22.59061034805928
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Self-supervised learning has emerged as a method for utilizing massive unlabeled data for pre-training models, providing an effective feature extractor for various mobile sensing applications. However, when deployed to end-users, these models encounter significant domain shifts attributed to user diversity. We investigate the performance degradation that occurs when self-supervised models are fine-tuned in heterogeneous domains. To address the issue, we propose ADAPT^2, a few-shot domain adaptation framework for personalizing self-supervised models. ADAPT2 proposes self-supervised meta-learning for initial model pre-training, followed by a user-side model adaptation by replaying the self-supervision with user-specific data. This allows models to adjust their pre-trained representations to the user with only a few samples. Evaluation with four benchmarks demonstrates that ADAPT^2 outperforms existing baselines by an average F1-score of 8.8%p. Our on-device computational overhead analysis on a commodity off-the-shelf (COTS) smartphone shows that ADAPT2 completes adaptation within an unobtrusive latency (in three minutes) with only a 9.54% memory consumption, demonstrating the computational efficiency of the proposed method.
• Abstract（参考訳）: 自己教師付き学習は、事前学習モデルのための膨大な未ラベルデータを活用する方法として登場し、様々なモバイルセンシングアプリケーションに効果的な特徴抽出器を提供する。 しかしながら、エンドユーザにデプロイされると、これらのモデルは、ユーザの多様性に起因する大きなドメインシフトに遭遇する。 自己教師型モデルがヘテロジニアス領域で微調整された場合に発生する性能劣化について検討する。 そこで本研究では,自己教師付きモデルをパーソナライズするためのドメイン適応フレームワークADAPT^2を提案する。 ADAPT2は、初期モデル事前学習のための自己教師付きメタラーニングを提案し、その後、ユーザ固有のデータで自己監督をリプレイすることで、ユーザー側モデル適応を行う。 これにより、モデルがトレーニング済みの表現を少数のサンプルでユーザに調整することが可能になる。 4つのベンチマークによる評価では、ADAPT^2はF1スコアの平均8.8%で既存のベースラインを上回っている。 市販オフ・ザ・シェルフ(COTS)スマートフォンのオンデバイス計算オーバーヘッド解析により,ADAPT2は9.54%のメモリ消費しか持たない非邪魔なレイテンシ(3分以内)で適応を完了し,提案手法の計算効率を実証した。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Point-TTA: Test-Time Adaptation for Point Cloud Registration Using Multitask Meta-Auxiliary Learning [17.980649681325406]
  我々は、ポイントクラウド登録(PCR)のための新しいテスト時間適応フレームワークであるPoint-TTAを提案する。 我々のモデルは、テストデータの事前の知識を必要とせずに、テスト時に目に見えない分布に適応することができる。 訓練中は, 補助タスクによる適応モデルにより主タスクの精度が向上するように, メタ補助学習アプローチを用いて訓練を行う。
  論文  参考訳（メタデータ） (2023-08-31T06:32:11Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• Multi-Metric AutoRec for High Dimensional and Sparse User Behavior Data Prediction [10.351592131677018]
  代表的AutoRecに基づくマルチメトリックAutoRec(MMA)を提案する。 MMAは、分散された距離空間の集合から多次元の向きを楽しみ、ユーザデータの包括的な表現を実現する。 MMAは、観測されていないユーザの行動データを予測する際に、他の7つの最先端モデルより優れている。
  論文  参考訳（メタデータ） (2022-12-20T12:28:07Z)
• Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
  本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。 このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。 パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2022-10-10T16:45:13Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。