論文の概要: PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision

• arxiv url: http://arxiv.org/abs/2411.15127v2
• Date: Tue, 21 Jan 2025 13:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:50.323975
• Title: PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision
• Title（参考訳）: PRIMUS:マルチモーダルセルフスーパービジョンによるIMUエンコーダの事前訓練
• Authors: Arnav M. Das, Chi Ian Tang, Fahim Kawsar, Mohammad Malekzadeh,
• Abstract要約: ラベルなしまたは弱いラベル付きIMUデータは、人間の動きをモデル化するために使用できる。 本稿では,新しい事前学習目標を用いたIMUエンコーダのPRIMUSを提案する。 PRIMUSは最先端のベースラインと比較して、テスト精度を最大15%改善する。
• 参考スコア（独自算出の注目度）: 7.896850422430362
• License:
• Abstract: Sensing human motions through Inertial Measurement Units (IMUs) embedded in personal devices has enabled significant applications in health and wellness. Labeled IMU data is scarce, however, unlabeled or weakly labeled IMU data can be used to model human motions. For video or text modalities, the "pretrain and adapt" approach utilizes large volumes of unlabeled or weakly labeled data to build a strong feature extractor, followed by adaptation to specific tasks using limited labeled data. However, pretraining methods are poorly understood for IMU data, and pipelines are rarely evaluated on out-of-domain tasks. We propose PRIMUS: a method for PRetraining IMU encoderS that uses a novel pretraining objective that is empirically validated based on downstream performance on both in-domain and out-of-domain datasets. The PRIMUS objective effectively enhances downstream performance by combining self-supervision, multimodal, and nearest-neighbor supervision. With fewer than 500 labeled samples per class, PRIMUS improves test accuracy by up to 15%, compared to state-of-the-art baselines. To benefit the broader community, we have open-sourced our code at github.com/nokia-bell-labs/pretrained-imu-encoders.
• Abstract（参考訳）: パーソナルデバイスに埋め込まれた慣性測定ユニット(IMU)による人間の動きの検知は、健康と健康に大きな応用を可能にした。 ラベル付きIMUデータは少ないが、ラベル付きまたは弱いラベル付きIMUデータは人間の動きをモデル化するために使用できる。 ビデオやテキストのモダリティでは、"pretrain and adapt"アプローチは、ラベルなしまたは弱いラベル付きデータを大量に使用して強力な特徴抽出器を構築し、その後、制限付きラベル付きデータを使用して特定のタスクに適応する。 しかし、IMUデータには事前学習手法が不十分であり、パイプラインがドメイン外のタスクで評価されることは滅多にない。 PRIMUS: ドメイン内および外部の両方のデータセットのダウンストリーム性能に基づいて実証的に検証された新しい事前学習目標を用いたIMUエンコーダのPretraining IMUエンコーダを提案する。 PRIMUSの目的は、セルフスーパービジョン、マルチモーダル、最寄りの監視を組み合わせることで、下流のパフォーマンスを効果的に向上させる。 クラスごとに500以上のラベル付きサンプルを持つPRIMUSは、最先端のベースラインと比較して、テスト精度を最大15%向上させる。 より広いコミュニティのために、github.com/nokia-bell-labs/pretrained-imu-encodersでコードをオープンソース化しました。

関連論文リスト

• Prism: Mining Task-aware Domains in Non-i.i.d. IMU Data for Flexible User Perception [20.61555898129175]
  モバイルデバイス上で高いFUP精度を得ることができるPrismと呼ばれる新しいスキームを提案する。 Prismの中核は、IMUデータセットに埋め込まれたタスク認識ドメインを発見し、特定されたドメインごとにドメイン認識モデルをトレーニングすることである。 結果は、Prismが低レイテンシで最高のFUPパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2025-01-03T02:07:42Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• ECAP: Extensive Cut-and-Paste Augmentation for Unsupervised Domain Adaptive Semantic Segmentation [4.082799056366928]
  本稿では,データ拡張を通じて信頼性の高い擬似ラベルを活用するための広範囲なカット・アンド・ペースト戦略(ECAP)を提案する。 ECAPはトレーニングを通じて擬似ラベル付きターゲットサンプルのメモリバンクを保持し、現在のトレーニングバッチに最も自信のあるサンプルをカット&ペーストする。 我々は,最近のMIC法に基づいてECPを実装し,その性能を2つの合成-実領域適応ベンチマークで向上させる。
  論文  参考訳（メタデータ） (2024-03-06T17:06:07Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [20.98770732015944]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining [51.19885385587916]
  我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。 我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
  論文  参考訳（メタデータ） (2020-11-17T13:39:05Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors [22.923108537119685]
  センサに基づくヒューマンアクティビティ認識(HAR)は、現在、複数のアプリケーション領域で研究ホットスポットとなっている。 本研究では,実シーンにおける複雑なHARの深層学習に基づく新しい手法を提案する。 提案手法は驚くほど数イテレーションで収束し、実際のIMUデータセット上で91.15%の精度が得られる。
  論文  参考訳（メタデータ） (2020-03-04T03:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。