論文の概要: PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision
- arxiv url: http://arxiv.org/abs/2411.15127v1
- Date: Fri, 22 Nov 2024 18:46:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 18:36:30.337426
- Title: PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision
- Title（参考訳）: PRIMUS:マルチモーダルセルフスーパービジョンによるIMUエンコーダの事前訓練
- Authors: Arnav M. Das, Chi Ian Tang, Fahim Kawsar, Mohammad Malekzadeh,
- Abstract要約: パーソナルデバイスに埋め込まれた慣性測定ユニット(IMU)は、健康と健康に大きな応用を可能にしている。
ラベル付きIMUデータは少ないが、ラベル付きまたは弱いラベル付きIMUデータを収集して人間の動きをモデル化することができる。
ビデオやテキストのモダリティに対して、"pretrain and adapt"アプローチでは、ラベル付きまたは弱いラベル付きデータを大量に使用して、事前トレーニングを行い、強力な特徴抽出器を構築し、その後、限定ラベル付きデータを使用して特定のタスクに適応する。
このアプローチはIMUドメインでは,(1)事前学習手法がIMUの文脈であまり理解されていないこと,の2つの理由から広く採用されていない。
- 参考スコア（独自算出の注目度）: 7.896850422430362
- License:
- Abstract: Sensing human motions through Inertial Measurement Units (IMUs) embedded in personal devices has enabled significant applications in health and wellness. While labeled IMU data is scarce, we can collect unlabeled or weakly labeled IMU data to model human motions. For video or text modalities, the "pretrain and adapt" approach utilizes large volumes of unlabeled or weakly labeled data for pretraining, building a strong feature extractor, followed by adaptation to specific tasks using limited labeled data. This approach has not been widely adopted in the IMU domain for two reasons: (1) pretraining methods are poorly understood in the context of IMU, and (2) open-source pretrained models that generalize across datasets are rarely publicly available. In this paper, we aim to address the first issue by proposing PRIMUS, a method for PRetraining IMU encoderS. We conduct a systematic and unified evaluation of various self-supervised and multimodal learning pretraining objectives. Our findings indicate that using PRIMUS, which combines self-supervision, multimodal supervision, and nearest-neighbor supervision, can significantly enhance downstream performance. With fewer than 500 labeled samples per class, PRIMUS effectively enhances downstream performance by up to 15% in held-out test data, compared to the state-of-the-art multimodal training method. To benefit the broader community, our code and pre-trained IMU encoders will be made publicly available at github.com/nokia-bell-labs upon publication.
- Abstract（参考訳）: パーソナルデバイスに埋め込まれた慣性測定ユニット(IMU)による人間の動作の検知は、健康と健康に大きな応用を可能にした。
ラベル付きIMUデータは少ないが、ラベル付きまたは弱いラベル付きIMUデータを収集して人間の動きをモデル化することができる。
ビデオやテキストのモダリティに対して、"pretrain and adapt"アプローチでは、ラベル付きまたは弱いラベル付きデータを大量に使用して、事前トレーニングを行い、強力な特徴抽出器を構築し、その後、限定ラベル付きデータを使用して特定のタスクに適応する。
このアプローチはIMUドメインでは,(1)事前学習手法がIMUの文脈では理解されていないこと,(2)データセットをまたいだ一般化されたオープンソース事前学習モデルが公開されていないこと,の2つの理由から広く採用されていない。
本稿では,IMUエンコーダのPRetraining PRIMUSを提案する。
我々は、様々な自己指導型・マルチモーダル学習事前学習目標の体系的・統一的な評価を行う。
以上の結果から, 自己監督, マルチモーダル監視, 最寄りの監視を併用した PRIMUS の使用は, 下流性能を著しく向上させる可能性が示唆された。
クラス毎のラベル付きサンプルは500に満たないため、PRIMUSは最先端のマルチモーダルトレーニング手法と比較して、ホールドアウトテストデータにおいて、ダウンストリームのパフォーマンスを最大15%向上させる。
我々のコードと事前学習したIMUエンコーダは、公開時にgithub.com/nokia-bell-labsで公開されます。
関連論文リスト
- Federated Learning for Misbehaviour Detection with Variational Autoencoders and Gaussian Mixture Models [0.2999888908665658]
Federated Learning (FL)は、機械学習(ML)モデルを協調的にトレーニングするための魅力的なアプローチになっている。
本研究は、車載環境における潜在的な不適切な行動を特定するための、新しい教師なしFLアプローチを提案する。
当社は、モデルアグリゲーションの目的のために、パブリッククラウドサービスのコンピューティング能力を活用しています。
論文 参考訳（メタデータ） (2024-05-16T08:49:50Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in
Computational Pathology [3.802258033231335]
Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。
FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
論文 参考訳（メタデータ） (2024-02-24T16:58:42Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳（メタデータ） (2024-02-08T03:46:32Z) - Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning
with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。
我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。
一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2023-03-27T07:07:33Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-11-17T18:59:49Z) - IMG2IMU: Translating Knowledge from Large-Scale Images to IMU Sensing
Applications [6.865654843241631]
IMG2IMUは、大規模画像から多様なIMUセンシングタスクに事前訓練された表現を適応させる。
我々は,センサデータを視覚的に解釈可能なスペクトログラムに変換し,視覚から得られる知識を活用する。
IMG2IMUは、センサーデータに基づいて事前訓練されたベースラインを平均9.6%p F1スコアで上回る。
論文 参考訳（メタデータ） (2022-09-02T11:00:23Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Neural Semi-supervised Learning for Text Classification Under
Large-Scale Pretraining [51.19885385587916]
我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。
我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
論文 参考訳（メタデータ） (2020-11-17T13:39:05Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。