論文の概要: LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces
- arxiv url: http://arxiv.org/abs/2403.19857v1
- Date: Thu, 28 Mar 2024 22:06:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:04:07.348164
- Title: LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces
- Title(参考訳): LLMSense:時空間センサトレースに対する高レベル推論のためのハーネスリングLDM
- Authors: Xiaomin Ouyang, Mani Srivastava,
- Abstract要約: 我々は,大規模言語モデル(LLM)の高レベル推論タスクに有効なプロンプトフレームワークを設計する。
また,長いセンサトレースによる性能向上のための2つの戦略を設計する。
当社のフレームワークはエッジクラウドで実装可能で,データ要約やプライバシ保護のためにクラウド上での高レベルの推論を行うために,エッジ上で小さなLLMを実行することができる。
- 参考スコア(独自算出の注目度): 1.1137304094345333
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most studies on machine learning in sensing systems focus on low-level perception tasks that process raw sensory data within a short time window. However, many practical applications, such as human routine modeling and occupancy tracking, require high-level reasoning abilities to comprehend concepts and make inferences based on long-term sensor traces. Existing machine learning-based approaches for handling such complex tasks struggle to generalize due to the limited training samples and the high dimensionality of sensor traces, necessitating the integration of human knowledge for designing first-principle models or logic reasoning methods. We pose a fundamental question: Can we harness the reasoning capabilities and world knowledge of Large Language Models (LLMs) to recognize complex events from long-term spatiotemporal sensor traces? To answer this question, we design an effective prompting framework for LLMs on high-level reasoning tasks, which can handle traces from the raw sensor data as well as the low-level perception results. We also design two strategies to enhance performance with long sensor traces, including summarization before reasoning and selective inclusion of historical traces. Our framework can be implemented in an edge-cloud setup, running small LLMs on the edge for data summarization and performing high-level reasoning on the cloud for privacy preservation. The results show that LLMSense can achieve over 80\% accuracy on two high-level reasoning tasks such as dementia diagnosis with behavior traces and occupancy tracking with environmental sensor traces. This paper provides a few insights and guidelines for leveraging LLM for high-level reasoning on sensor traces and highlights several directions for future work.
- Abstract(参考訳): センシングシステムにおける機械学習に関する研究の多くは、短時間で生の知覚データを処理する低レベルの知覚タスクに焦点を当てている。
しかしながら、人間のルーチンモデリングや占有追跡といった多くの実践的応用は、概念を理解し、長期的なセンサトレースに基づいて推論を行うために高いレベルの推論能力を必要とする。
このような複雑なタスクを扱う機械学習ベースのアプローチは、限られたトレーニングサンプルとセンサートレースの高次元性のために一般化が困難であり、第一原理モデルや論理推論を設計するための人間の知識の統合が必要である。
大きな言語モデル(LLM)の推論能力と世界知識を利用して、長期の時空間センサトレースから複雑な事象を認識できますか?
そこで本研究では,LLMの高次推論タスクに対する効果的なプロンプトフレームワークを設計し,センサデータのトレースや低次認識結果の処理を行う。
また,長いセンサトレースによる性能向上のための2つの戦略を設計する。
当社のフレームワークはエッジクラウドで実装可能で,データ要約やプライバシ保護のためにクラウド上での高レベルの推論を行うために,エッジ上で小さなLLMを実行することができる。
その結果,LLMSenseは認知症診断や環境センサの追跡など,2つのハイレベル推論タスクにおいて80%以上の精度を達成できることが示唆された。
本稿では,LLMをセンサトレースの高レベル推論に活用するための洞察とガイドラインを提供し,今後の研究の方向性を強調した。
関連論文リスト
- Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。
最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。
この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文 参考訳(メタデータ) (2024-10-17T15:08:21Z) - SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing [6.8009140511761546]
大規模言語モデル(LLM)は、知覚データを処理する上で有望な能力を持ち、センサーシステムを開発するための副操縦士としての可能性を示している。
我々は,定量化のための総合的なベンチマークであるSensorBenchを構築した。
以上の結果から,LLMは単純なタスクでかなりの習熟度を示す一方で,構成タスクの処理において固有の課題に直面していることが明らかとなった。
論文 参考訳(メタデータ) (2024-10-14T17:21:39Z) - SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition [9.072495000412943]
我々は、Large Language Models(LLM)が人間の活動認識(HAR)のような時系列タスクを理解できるようにすることで、ウェアラブルセンサー技術とパーソナライズされたAIアシスタントのギャップを埋める。
センサデータタスクに対するLLMのポテンシャルを解放する2段階フレームワークであるSensorLLMを紹介する。
我々は,SensorLLMが効果的なセンサ学習者,推論者,学習者へと進化し,HARタスクのための多様なデータセットをまたいで一般化できることを示す。
論文 参考訳(メタデータ) (2024-10-14T15:30:41Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳(メタデータ) (2024-08-17T11:49:53Z) - DynST: Dynamic Sparse Training for Resource-Constrained Spatio-Temporal
Forecasting [24.00162014044092]
地球科学システムは、センサーの広範な展開に大きく依存している。
従来のセンサー配置アプローチでは、特定のアルゴリズムを使用してセンサーを設計および展開する。
本稿では,ダイナミックスパーストレーニングのコンセプトを初めて紹介し,重要なセンサデータを動的にフィルタリングすることを約束する。
論文 参考訳(メタデータ) (2024-03-05T12:31:24Z) - LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。
LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。
これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
論文 参考訳(メタデータ) (2024-01-03T18:57:27Z) - MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。
このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。
第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
論文 参考訳(メタデータ) (2023-10-24T17:59:20Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Anomaly Detection and Inter-Sensor Transfer Learning on Smart
Manufacturing Datasets [6.114996271792091]
スマートマニュファクチャリングシステムの目標は、運用コストを削減し、ダウンタイムをなくすために、失敗を迅速に検出(または予測)することである。
これはしばしば、システムから取得したセンサーの日程内で異常を検出することに起因する。
スマートマニュファクチャリングアプリケーションドメインは、ある種の健全な技術的課題を提起します。
予測的障害分類が達成できることを示し、予測的メンテナンスの道を開く。
論文 参考訳(メタデータ) (2022-06-13T17:51:24Z) - Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
論文 参考訳(メタデータ) (2022-05-04T01:27:36Z) - Plants Don't Walk on the Street: Common-Sense Reasoning for Reliable
Semantic Segmentation [0.7696728525672148]
我々は,交通シーンのオブジェクト間の関係を高レベルの抽象化で記述するために,部分的に設計され,部分的に学習されたルールセットを使用することを提案する。
これにより、低レベルのセンサー情報を消費する既存のディープニューラルネットワークを改善し、強化する。
論文 参考訳(メタデータ) (2021-04-19T12:51:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。