論文の概要: On the Efficiency and Robustness of Vibration-based Foundation Models for IoT Sensing: A Case Study
- arxiv url: http://arxiv.org/abs/2404.02461v1
- Date: Wed, 3 Apr 2024 05:04:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:29:43.562391
- Title: On the Efficiency and Robustness of Vibration-based Foundation Models for IoT Sensing: A Case Study
- Title(参考訳): IoTセンシングのための振動ベース基礎モデルの効率性とロバスト性について:ケーススタディ
- Authors: Tomoyoshi Kimura, Jinyang Li, Tianshi Wang, Denizhan Kara, Yizhuo Chen, Yigong Hu, Ruijie Wang, Maggie Wigness, Shengzhong Liu, Mani Srivastava, Suhas Diggavi, Tarek Abdelzaher,
- Abstract要約: 本稿では,(クラスの)IoTアプリケーションにおける実行時推論の堅牢性を改善するために,未ラベルのセンシングデータで事前学習した振動ベースファンデーションモデル(FM)の可能性を示す。
音響・地震探査を用いた車両分類を応用したケーススタディが提案されている。
- 参考スコア(独自算出の注目度): 7.0723456126359245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper demonstrates the potential of vibration-based Foundation Models (FMs), pre-trained with unlabeled sensing data, to improve the robustness of run-time inference in (a class of) IoT applications. A case study is presented featuring a vehicle classification application using acoustic and seismic sensing. The work is motivated by the success of foundation models in the areas of natural language processing and computer vision, leading to generalizations of the FM concept to other domains as well, where significant amounts of unlabeled data exist that can be used for self-supervised pre-training. One such domain is IoT applications. Foundation models for selected sensing modalities in the IoT domain can be pre-trained in an environment-agnostic fashion using available unlabeled sensor data and then fine-tuned to the deployment at hand using a small amount of labeled data. The paper shows that the pre-training/fine-tuning approach improves the robustness of downstream inference and facilitates adaptation to different environmental conditions. More specifically, we present a case study in a real-world setting to evaluate a simple (vibration-based) FM-like model, called FOCAL, demonstrating its superior robustness and adaptation, compared to conventional supervised deep neural networks (DNNs). We also demonstrate its superior convergence over supervised solutions. Our findings highlight the advantages of vibration-based FMs (and FM-inspired selfsupervised models in general) in terms of inference robustness, runtime efficiency, and model adaptation (via fine-tuning) in resource-limited IoT settings.
- Abstract(参考訳): 本稿では,(クラスの)IoTアプリケーションにおける実行時推論の堅牢性を改善するために,未ラベルのセンシングデータで事前学習した振動ベースファンデーションモデル(FM)の可能性を示す。
音響・地震探査を用いた車両分類を応用したケーススタディが提案されている。
この研究は、自然言語処理とコンピュータビジョンの分野での基礎モデルの成功によって動機付けられ、FMの概念を他の領域にも一般化し、自己監督型事前学習に使用できる膨大な量のラベルのないデータが存在している。
そのようなドメインのひとつがIoTアプリケーションです。
IoT領域における選択されたセンシングモダリティのための基礎モデルは、利用可能なラベル付けされていないセンサデータを使用して、環境に依存しない方法で事前トレーニングし、少量のラベル付きデータを使用して、手元のデプロイメントに微調整することができる。
本研究は, 事前学習/微調整手法により, 下流推論の堅牢性が向上し, 異なる環境条件への適応が容易になることを示す。
より具体的には、従来の教師付きディープニューラルネットワーク(DNN)と比較して、FOCALと呼ばれる単純な(振動に基づく)FMライクなモデルを評価するための実世界のケーススタディを示す。
また、教師付き解よりも優れた収束性を示す。
我々の研究結果は、リソース制限IoT設定における(微調整による)推論ロバスト性、実行効率、モデル適応の観点から、振動に基づくFM(およびFMにインスパイアされた全般的な自己教師型モデル)の利点を浮き彫りにした。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Machine Learning-based Positioning using Multivariate Time Series
Classification for Factory Environments [0.0]
最先端のソリューションは外部インフラストラクチャに大きく依存しており、潜在的なプライバシー侵害にさらされている。
機械学習(ML)の最近の進歩は、IoTデバイスのオンボードセンサーのデータのみに依存する、これらの制限に対処するソリューションを提供する。
本稿では,移動体をプライバシ関連工場環境に局在させるため,モーションセンサと環境センサを用いた機械学習による屋内位置決めシステムを提案する。
論文 参考訳(メタデータ) (2023-08-22T10:07:19Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Variational Autoencoder Assisted Neural Network Likelihood RSRP
Prediction Model [2.881201648416745]
MDTデータとデジタルツイン(DT)を利用したRSRP予測のための生成モデルについて検討する。
実世界のデータを用いた提案モデルでは,実証モデルと比較して約20%以上の精度向上が示されている。
論文 参考訳(メタデータ) (2022-06-27T17:27:35Z) - Efficient Federated Learning for AIoT Applications Using Knowledge
Distillation [2.5892786553124085]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。
従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。
本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-11-29T06:40:42Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Roughsets-based Approach for Predicting Battery Life in IoT [1.0775419935941009]
本研究は, 海洋環境におけるIoTフレームワークにおけるバッテリ寿命の持続可能性に関する予測に焦点を当てた。
使用されるデータは、シカゴ地区のビーチの水から収集された公開データセットである。
提案したモデルと機械学習モデルの現状を比較し,その優位性を正当化する。
論文 参考訳(メタデータ) (2021-02-09T01:42:04Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。