論文の概要: SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition

• arxiv url: http://arxiv.org/abs/2410.10624v2
• Date: Mon, 17 Mar 2025 09:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:57:36.284675
• Title: SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition
• Title（参考訳）: SensorLLM:人間の活動認識のための運動センサを用いた大規模言語モデルの作成
• Authors: Zechen Li, Shohreh Deldari, Linyao Chen, Hao Xue, Flora D. Salim,
• Abstract要約: 本稿では,Large Language Models(LLM)がセンサデータからHAR(Human Activity Recognition)を実現するためのフレームワークであるSensorLLMを紹介する。 SensorLLMは、各センサチャネルに特別なトークンを導入するSensor-Language Alignmentステージを通じて制限に対処する。 その後のタスク・アウェア・チューニングの段階では、HAR分類のモデルを洗練し、最先端の手法に適合または超越した性能を達成する。
• 参考スコア（独自算出の注目度）: 9.072495000412943
• License:
• Abstract: We introduce SensorLLM, a two-stage framework that enables Large Language Models (LLMs) to perform human activity recognition (HAR) from sensor data. Despite their strong reasoning and generalization capabilities, LLMs remain underutilized for motion sensor data due to the lack of semantic context in time-series, computational constraints, and challenges in processing numerical inputs. SensorLLM addresses these limitations through a Sensor-Language Alignment stage, where we introduce special tokens for each sensor channel and automatically generate textual trend descriptions. This alignment enables LLMs to capture numerical variations, channel-specific features, and data of varying duration--without requiring human annotations. In the subsequent Task-Aware Tuning stage, we refine the model for HAR classification, achieving performance that matches or surpasses state-of-the-art methods. Our results demonstrate that SensorLLM evolves into an effective sensor learner, reasoner, and classifier through Sensor-Language Alignment, generalizing across diverse HAR datasets. We believe this work establishes a foundation for future research on time-series and text alignment, paving the way for foundation models in sensor data analysis.
• Abstract（参考訳）: 本研究では,Large Language Models(LLM)がセンサデータからHAR(Human Activity Recognition)を実現するための2段階フレームワークであるSensorLLMを紹介する。 強い推論と一般化能力にもかかわらず、LLMは時系列における意味的文脈の欠如、計算制約、数値入力処理の課題などにより、モーションセンサーデータには未利用のままである。 SensorLLMはこれらの制限にSensor-Language Alignmentステージを通じて対処し、各センサチャネルに特別なトークンを導入し、テキストのトレンド記述を自動的に生成する。 このアライメントにより、LLMは人間のアノテーションを必要とせずに、数値的なバリエーション、チャネル固有の特徴、および様々な期間のデータを取得することができる。 その後のタスク・アウェア・チューニングの段階では、HAR分類のモデルを洗練し、最先端の手法に適合または超越した性能を達成する。 この結果から,Sensor-Language Alignmentにより,SensorLLMは効果的なセンサ学習者,推論者,分類者へと進化し,多様なHARデータセットにまたがって一般化されることが示された。 この研究は、時系列とテキストアライメントに関する将来の研究の基盤を確立し、センサデータ分析の基盤モデル構築の道を開いたと信じている。

関連論文リスト

• Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning [61.17099595835263]
  Gensorsは、ユーザがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義することを可能にするシステムである。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。
  論文  参考訳（メタデータ） (2025-01-27T01:47:57Z)
• A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model [16.842988666530204]
  データ駆動型ソフトセンサー(DDSS)は、プロセス産業において重要なパフォーマンス指標を予測する主要な手法となっている。 開発には、モデリングプロセス中に様々なタスクに合わせてカスタマイズされた複雑でコストがかかる設計が必要である。 本稿では,LLM-TKESS(テキストベース知識埋め込み型ソフトセンシングのための大規模言語モデル)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-09T08:59:14Z)
• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing [6.8009140511761546]
  大規模言語モデル(LLM)は、知覚データを処理する上で有望な能力を持ち、センサーシステムを開発するための副操縦士としての可能性を示している。 我々は,定量化のための総合的なベンチマークであるSensorBenchを構築した。 以上の結果から,LLMは単純なタスクでかなりの習熟度を示す一方で,構成タスクの処理において固有の課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T17:21:39Z)
• Language-centered Human Activity Recognition [8.925867647929088]
  Inertial Measurement Unit(IMU)センサーを用いたHAR(Human Activity Recognition)は、医療、安全、産業生産における応用において重要である。 アクティビティパターン、デバイスタイプ、センサー配置のバリエーションは、データセット間の分散ギャップを生成する。 本稿では,センサの読み書きとアクティビティラベルのセマンティック解釈を生成するシステムであるLanHARを提案する。
  論文  参考訳（メタデータ） (2024-09-12T22:57:29Z)
• LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces [1.1137304094345333]
  我々は,大規模言語モデル(LLM)の高レベル推論タスクに有効なプロンプトフレームワークを設計する。 また,長いセンサトレースによる性能向上のための2つの戦略を設計する。 当社のフレームワークはエッジクラウドで実装可能で,データ要約やプライバシ保護のためにクラウド上での高レベルの推論を行うために,エッジ上で小さなLLMを実行することができる。
  論文  参考訳（メタデータ） (2024-03-28T22:06:04Z)
• Evaluating Large Language Models as Virtual Annotators for Time-series Physical Sensing Data [5.092345761847645]
  時系列物理センシングデータをラベル付けするための仮想アノテータとして, 最先端(SOTA) LLM が利用できるかを検討した。
  論文  参考訳（メタデータ） (2024-03-02T08:29:08Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
  RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。 畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。 提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
  論文  参考訳（メタデータ） (2022-02-15T17:38:30Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。