論文の概要: Leveraging Foundation Models for Zero-Shot IoT Sensing

• arxiv url: http://arxiv.org/abs/2407.19893v1
• Date: Mon, 29 Jul 2024 11:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 14:06:25.708409
• Title: Leveraging Foundation Models for Zero-Shot IoT Sensing
• Title（参考訳）: ゼロショットIoTセンシングのためのファンデーションモデルを活用する
• Authors: Dinghao Xue, Xiaoran Fan, Tao Chen, Guohao Lan, Qun Song,
• Abstract要約: ディープラーニングモデルは、エッジIoT(Internet of Things)デバイスにますますデプロイされている。 ZSLは意味情報の助けを借りて、目に見えないクラスのデータを分類することを目的としている。 本研究では、ゼロショットIoTセンシングのためのFMテキストエンコーダによって生成されたセマンティック埋め込みと、IoTデータの埋め込みを一致させる。
• 参考スコア（独自算出の注目度）: 5.319176383069102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models are increasingly deployed on edge Internet of Things (IoT) devices. However, these models typically operate under supervised conditions and fail to recognize unseen classes different from training. To address this, zero-shot learning (ZSL) aims to classify data of unseen classes with the help of semantic information. Foundation models (FMs) trained on web-scale data have shown impressive ZSL capability in natural language processing and visual understanding. However, leveraging FMs' generalized knowledge for zero-shot IoT sensing using signals such as mmWave, IMU, and Wi-Fi has not been fully investigated. In this work, we align the IoT data embeddings with the semantic embeddings generated by an FM's text encoder for zero-shot IoT sensing. To utilize the physics principles governing the generation of IoT sensor signals to derive more effective prompts for semantic embedding extraction, we propose to use cross-attention to combine a learnable soft prompt that is optimized automatically on training data and an auxiliary hard prompt that encodes domain knowledge of the IoT sensing task. To address the problem of IoT embeddings biasing to seen classes due to the lack of unseen class data during training, we propose using data augmentation to synthesize unseen class IoT data for fine-tuning the IoT feature extractor and embedding projector. We evaluate our approach on multiple IoT sensing tasks. Results show that our approach achieves superior open-set detection and generalized zero-shot learning performance compared with various baselines. Our code is available at https://github.com/schrodingho/FM\_ZSL\_IoT.
• Abstract（参考訳）: ディープラーニングモデルは、エッジIoT(Internet of Things)デバイスにますますデプロイされている。 しかしながら、これらのモデルは典型的には監督された条件下で動作し、トレーニングとは異なる目に見えないクラスを認識できない。 これを解決するため、ゼロショット学習(ZSL)は、意味情報の助けを借りて、目に見えないクラスのデータを分類することを目的としている。 Webスケールのデータに基づいてトレーニングされたファンデーションモデル(FM)は、自然言語処理と視覚的理解において印象的なZSL機能を示している。 しかし、FMの一般化された知識を活用して、mmWave、IMU、Wi-Fiなどの信号を用いたゼロショットIoTセンシングが完全には研究されていない。 本研究では、ゼロショットIoTセンシングのためのFMテキストエンコーダによって生成されたセマンティック埋め込みと、IoTデータの埋め込みを一致させる。 セマンティック埋め込み抽出のより効果的なプロンプトを導出するために,IoTセンサ信号の生成を規定する物理原理を活用するために,トレーニングデータに自動的に最適化される学習可能なソフトプロンプトと,IoTセンサタスクのドメイン知識を符号化する補助的ハードプロンプトを組み合わせるために,クロスアテンションを利用することを提案する。 トレーニング中に未確認のクラスデータが欠如しているため,授業に偏ったIoT埋め込みの問題に対処するために,データ拡張を用いて未確認クラスのIoTデータを合成し,IoT機能抽出器と埋め込みプロジェクタを微調整する手法を提案する。 我々は、複数のIoTセンシングタスクに対するアプローチを評価した。 提案手法は,様々なベースラインと比較して,より優れたオープンセット検出と一般化されたゼロショット学習性能を実現する。 私たちのコードはhttps://github.com/schrodingho/FM\_ZSL\_IoT.orgから入手可能です。

関連論文リスト

• SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition [9.072495000412943]
  我々は、Large Language Models(LLM)が人間の活動認識(HAR)のような時系列タスクを理解できるようにすることで、ウェアラブルセンサー技術とパーソナライズされたAIアシスタントのギャップを埋める。 センサデータタスクに対するLLMのポテンシャルを解放する2段階フレームワークであるSensorLLMを紹介する。 我々は,SensorLLMが効果的なセンサ学習者,推論者,学習者へと進化し,HARタスクのための多様なデータセットをまたいで一般化できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T15:30:41Z)
• IoT-LM: Large Multisensory Language Models for the Internet of Things [70.74131118309967]
  IoTエコシステムは、モーション、サーマル、ジオロケーション、イメージング、ディープ、センサー、オーディオといった、現実世界のモダリティの豊富なソースを提供する。 機械学習は、IoTデータを大規模に自動的に処理する豊富な機会を提供する。 IoTエコシステムに適した,オープンソースの大規模マルチセンサ言語モデルであるIoT-LMを紹介します。
  論文  参考訳（メタデータ） (2024-07-13T08:20:37Z)
• A Plug-in Tiny AI Module for Intelligent and Selective Sensor Data Transmission [10.174575604689391]
  本稿では、インテリジェントなデータ伝送機能を備えたセンシングフレームワークを実現するための新しいセンシングモジュールを提案する。 センサの近くに置かれる高効率機械学習モデルを統合する。 このモデルは,無関係な情報を破棄しながら,貴重なデータのみを送信するセンサシステムに対して,迅速なフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-03T05:41:39Z)
• Enhancing IoT Security via Automatic Network Traffic Analysis: The Transition from Machine Learning to Deep Learning [0.0]
  この研究は、IoT(Internet of Things)内のタスクに対処する上で、ディープラーニング(DL)が機械学習(ML)を上回る方法を示す比較分析を提供する。 このアプローチでは,さまざまなIoT関連データセットを使用して,DLモデルをトレーニングし,評価する。 実験では、DLが手動で設計した機能に関連する制約を克服し、攻撃検出およびデバイスタイプの識別において同等の結果を維持する能力を示す。
  論文  参考訳（メタデータ） (2023-11-20T16:48:50Z)
• MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
  次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。 運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。 既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。 本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:13:08Z)
• The Internet of Senses: Building on Semantic Communications and Edge Intelligence [67.75406096878321]
  インターネット・オブ・センセーズ(IoS)は、すべてのヒト受容体に対する欠陥のないテレプレゼンススタイルのコミュニケーションを約束する。 我々は,新たなセマンティックコミュニケーションと人工知能(AI)/機械学習(ML)パラダイムがIoSユースケースの要件を満たす方法について詳しく述べる。
  論文  参考訳（メタデータ） (2022-12-21T03:37:38Z)
• Federated Learning with Correlated Data: Taming the Tail for Age-Optimal Industrial IoT [55.62157530259969]
  本稿では,ピークAoI要求に基づくセンサの送信電力最小化と待ち時間に対する確率的制約について検討する。 本稿では,センサのトレーニングデータ間の相関を考慮した局所モデル選択手法を提案する。 数値計算の結果,送信電力,ピークAoI,遅延尾部分布のトレードオフが示された。
  論文  参考訳（メタデータ） (2021-08-17T08:38:31Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Federated Learning for Internet of Things: A Federated Learning Framework for On-device Anomaly Data Detection [10.232121085973782]
  我々は、N-BaIoT、FedDetectアルゴリズム、IoTデバイスのシステム設計を使用した合成データセットを含むFedIoTプラットフォームを構築します。 現実的なIoTデバイス(PI)のネットワークにおいて,FedIoTプラットフォームとFedDetectアルゴリズムをモデルおよびシステムパフォーマンスの両方で評価する。
  論文  参考訳（メタデータ） (2021-06-15T08:53:42Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。