論文の概要: On the Efficiency and Robustness of Vibration-based Foundation Models for IoT Sensing: A Case Study
- arxiv url: http://arxiv.org/abs/2404.02461v1
- Date: Wed, 3 Apr 2024 05:04:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:29:43.562391
- Title: On the Efficiency and Robustness of Vibration-based Foundation Models for IoT Sensing: A Case Study
- Title（参考訳）: IoTセンシングのための振動ベース基礎モデルの効率性とロバスト性について:ケーススタディ
- Authors: Tomoyoshi Kimura, Jinyang Li, Tianshi Wang, Denizhan Kara, Yizhuo Chen, Yigong Hu, Ruijie Wang, Maggie Wigness, Shengzhong Liu, Mani Srivastava, Suhas Diggavi, Tarek Abdelzaher,
- Abstract要約: 本稿では,(クラスの)IoTアプリケーションにおける実行時推論の堅牢性を改善するために,未ラベルのセンシングデータで事前学習した振動ベースファンデーションモデル(FM)の可能性を示す。
音響・地震探査を用いた車両分類を応用したケーススタディが提案されている。
- 参考スコア（独自算出の注目度）: 7.0723456126359245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper demonstrates the potential of vibration-based Foundation Models (FMs), pre-trained with unlabeled sensing data, to improve the robustness of run-time inference in (a class of) IoT applications. A case study is presented featuring a vehicle classification application using acoustic and seismic sensing. The work is motivated by the success of foundation models in the areas of natural language processing and computer vision, leading to generalizations of the FM concept to other domains as well, where significant amounts of unlabeled data exist that can be used for self-supervised pre-training. One such domain is IoT applications. Foundation models for selected sensing modalities in the IoT domain can be pre-trained in an environment-agnostic fashion using available unlabeled sensor data and then fine-tuned to the deployment at hand using a small amount of labeled data. The paper shows that the pre-training/fine-tuning approach improves the robustness of downstream inference and facilitates adaptation to different environmental conditions. More specifically, we present a case study in a real-world setting to evaluate a simple (vibration-based) FM-like model, called FOCAL, demonstrating its superior robustness and adaptation, compared to conventional supervised deep neural networks (DNNs). We also demonstrate its superior convergence over supervised solutions. Our findings highlight the advantages of vibration-based FMs (and FM-inspired selfsupervised models in general) in terms of inference robustness, runtime efficiency, and model adaptation (via fine-tuning) in resource-limited IoT settings.
- Abstract（参考訳）: 本稿では,(クラスの)IoTアプリケーションにおける実行時推論の堅牢性を改善するために,未ラベルのセンシングデータで事前学習した振動ベースファンデーションモデル(FM)の可能性を示す。
音響・地震探査を用いた車両分類を応用したケーススタディが提案されている。
この研究は、自然言語処理とコンピュータビジョンの分野での基礎モデルの成功によって動機付けられ、FMの概念を他の領域にも一般化し、自己監督型事前学習に使用できる膨大な量のラベルのないデータが存在している。
そのようなドメインのひとつがIoTアプリケーションです。
IoT領域における選択されたセンシングモダリティのための基礎モデルは、利用可能なラベル付けされていないセンサデータを使用して、環境に依存しない方法で事前トレーニングし、少量のラベル付きデータを使用して、手元のデプロイメントに微調整することができる。
本研究は, 事前学習/微調整手法により, 下流推論の堅牢性が向上し, 異なる環境条件への適応が容易になることを示す。
より具体的には、従来の教師付きディープニューラルネットワーク(DNN)と比較して、FOCALと呼ばれる単純な(振動に基づく)FMライクなモデルを評価するための実世界のケーススタディを示す。
また、教師付き解よりも優れた収束性を示す。
我々の研究結果は、リソース制限IoT設定における(微調整による)推論ロバスト性、実行効率、モデル適応の観点から、振動に基づくFM(およびFMにインスパイアされた全般的な自己教師型モデル)の利点を浮き彫りにした。
関連論文リスト
- Vaccinating Federated Learning for Robust Modulation Classification in Distributed Wireless Networks [0.0]
雑音レベルの異なる信号間の一般化性向上を目的とした新しいAMCモデルであるFedVaccineを提案する。
FedVaccineは、分割学習戦略を用いることで、既存のFLベースのAMCモデルの線形集約の限界を克服する。
これらの結果は、実用的な無線ネットワーク環境におけるAMCシステムの信頼性と性能を高めるためのFedVaccineの可能性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-10-16T17:48:47Z) - Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。
ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。
微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
論文 参考訳（メタデータ） (2024-10-04T04:21:53Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2023-09-29T06:18:15Z) - Machine Learning-based Positioning using Multivariate Time Series
Classification for Factory Environments [0.0]
最先端のソリューションは外部インフラストラクチャに大きく依存しており、潜在的なプライバシー侵害にさらされている。
機械学習(ML)の最近の進歩は、IoTデバイスのオンボードセンサーのデータのみに依存する、これらの制限に対処するソリューションを提供する。
本稿では,移動体をプライバシ関連工場環境に局在させるため,モーションセンサと環境センサを用いた機械学習による屋内位置決めシステムを提案する。
論文 参考訳（メタデータ） (2023-08-22T10:07:19Z) - Variational Autoencoder Assisted Neural Network Likelihood RSRP
Prediction Model [2.881201648416745]
MDTデータとデジタルツイン(DT)を利用したRSRP予測のための生成モデルについて検討する。
実世界のデータを用いた提案モデルでは,実証モデルと比較して約20%以上の精度向上が示されている。
論文 参考訳（メタデータ） (2022-06-27T17:27:35Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳（メタデータ） (2020-11-16T08:24:34Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2020-11-10T19:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。