論文の概要: SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions

• arxiv url: http://arxiv.org/abs/2502.02883v2
• Date: Thu, 15 May 2025 06:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 14:06:35.942832
• Title: SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions
• Title（参考訳）: SensorChat: 長期マルチモーダルセンサインタラクションにおける質的・定量的質問への回答
• Authors: Xiaofan Yu, Lanxiang Hu, Benjamin Reichman, Dylan Chu, Rushil Chandrupatla, Xiyuan Zhang, Larry Heck, Tajana Rosing,
• Abstract要約: 本研究では,長時間の時系列データを用いた日常生活モニタリングのためのQAシステムであるSensorChatを紹介する。 数日間にわたる生のセンサー信号とユーザが定義した自然言語の質問が与えられたら、SensorChatは有意義な応答を生成する。 その結果,SensorChatの解答精度は,定量的な質問に対する最先端システムよりも93%高いことがわかった。
• 参考スコア（独自算出の注目度）: 7.549011805153971
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural language interaction with sensing systems is crucial for addressing users' personal concerns and providing health-related insights into their daily lives. When a user asks a question, the system automatically analyzes the full history of sensor data, extracts relevant information, and generates an appropriate response. However, existing systems are limited to short-duration (e.g., one minute) or low-frequency (e.g., daily step count) sensor data. In addition, they struggle with quantitative questions that require precise numerical answers. In this work, we introduce SensorChat, the first end-to-end QA system designed for daily life monitoring using long-duration, high-frequency time series data. Given raw sensor signals spanning multiple days and a user-defined natural language question, SensorChat generates semantically meaningful responses that directly address user concerns. SensorChat effectively handles both quantitative questions that require numerical precision and qualitative questions that require high-level reasoning to infer subjective insights. To achieve this, SensorChat uses an innovative three-stage pipeline including question decomposition, sensor data query, and answer assembly. The first and third stages leverage Large Language Models (LLMs) to interpret human queries and generate responses. The intermediate querying stage extracts relevant information from the complete sensor data history. Real-world implementation demonstrate SensorChat's capability for real-time interactions on a cloud server while also being able to run entirely on edge platforms after quantization. Comprehensive QA evaluations show that SensorChat achieves up to 93% higher answer accuracy than state-of-the-art systems on quantitative questions. Additionally, a user study with eight volunteers highlights SensorChat's effectiveness in answering qualitative and open-ended questions.
• Abstract（参考訳）: センサシステムとの自然言語インタラクションは、ユーザの個人的な懸念に対処し、日々の生活に健康に関する洞察を提供するために不可欠である。 ユーザが質問すると、システムはセンサーデータの完全な履歴を自動的に分析し、関連する情報を抽出し、適切な応答を生成する。 しかし、既存のシステムは短周期(例:1分)または低周波(例:1日歩数)のセンサーデータに制限されている。 さらに、彼らは正確な数値的な答えを必要とする量的な疑問に苦しむ。 本研究では,長時間の高頻度時系列データを用いた日常生活モニタリングのための最初のエンドツーエンドQAシステムであるSensorChatを紹介する。 数日間にわたる生のセンサー信号とユーザが定義した自然言語の質問を前提として、SensorChatは、ユーザの関心に直接対処する意味的に意味のある応答を生成する。 SensorChatは、数値的な精度を必要とする量的質問と、主観的な洞察を推測するために高レベルの推論を必要とする定性的質問の両方を効果的に扱う。 これを実現するためにSensorChatは、質問分解、センサデータクエリ、回答アセンブリを含む革新的な3段階パイプラインを使用している。 1段目と3段目は、Large Language Models (LLM) を利用して人間のクエリを解釈し、応答を生成する。 中間クエリステージは、全センサデータ履歴から関連情報を抽出する。 実世界の実装では、SensorChatがクラウドサーバー上でリアルタイムのインタラクションを可能にすると同時に、量子化後のエッジプラットフォーム上で完全に動作可能であることを示す。 総合的なQA評価では、SensorChatは、定量的質問に対する最先端システムよりも93%高い回答精度を達成している。 さらに、8人のボランティアによるユーザスタディでは、質的かつオープンな質問に対するSensorChatの有効性を強調している。

関連論文リスト

• Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning [61.17099595835263]
  Gensorsは、ユーザがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義することを可能にするシステムである。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。
  論文  参考訳（メタデータ） (2025-01-27T01:47:57Z)
• SensorQA: A Question Answering Benchmark for Daily-Life Monitoring [1.925154869666529]
  SensorQAは、日常生活監視のための長期時系列センサデータのための人為的な質問応答データセットである。 このデータセット上で、最先端AIモデルのベンチマークを確立し、典型的なエッジデバイス上でのパフォーマンスを評価する。 我々の結果は、現在のモデルと最適なQAパフォーマンスと効率のギャップを明らかにし、新しいコントリビューションの必要性を強調します。
  論文  参考訳（メタデータ） (2025-01-09T05:06:44Z)
• Show Me What and Where has Changed? Question Answering and Grounding for Remote Sensing Change Detection [82.65760006883248]
  我々は,CDQAG (Change Detection Question Answering and Grounding) という新しいタスクを導入する。 CDQAGは、解釈可能なテキスト回答と直感的な視覚的証拠を提供することで、従来の変更検出タスクを拡張している。 QAG-360Kと呼ばれる最初のCDQAGベンチマークデータセットを構築し、360K以上の質問、テキスト回答、およびそれに対応する高品質な視覚マスクを含む。
  論文  参考訳（メタデータ） (2024-10-31T11:20:13Z)
• SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing [6.8009140511761546]
  大規模言語モデル(LLM)は、知覚データを処理する上で有望な能力を持ち、センサーシステムを開発するための副操縦士としての可能性を示している。 我々は,定量化のための総合的なベンチマークであるSensorBenchを構築した。 以上の結果から,LLMは単純なタスクでかなりの習熟度を示す一方で,構成タスクの処理において固有の課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T17:21:39Z)
• SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition [9.072495000412943]
  我々は、Large Language Models(LLM)が人間の活動認識(HAR)のような時系列タスクを理解できるようにすることで、ウェアラブルセンサー技術とパーソナライズされたAIアシスタントのギャップを埋める。 センサデータタスクに対するLLMのポテンシャルを解放する2段階フレームワークであるSensorLLMを紹介する。 我々は,SensorLLMが効果的なセンサ学習者,推論者,学習者へと進化し,HARタスクのための多様なデータセットをまたいで一般化できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T15:30:41Z)
• Anomaly Detection and Inter-Sensor Transfer Learning on Smart Manufacturing Datasets [6.114996271792091]
  スマートマニュファクチャリングシステムの目標は、運用コストを削減し、ダウンタイムをなくすために、失敗を迅速に検出(または予測)することである。 これはしばしば、システムから取得したセンサーの日程内で異常を検出することに起因する。 スマートマニュファクチャリングアプリケーションドメインは、ある種の健全な技術的課題を提起します。 予測的障害分類が達成できることを示し、予測的メンテナンスの道を開く。
  論文  参考訳（メタデータ） (2022-06-13T17:51:24Z)
• Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
  SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
  論文  参考訳（メタデータ） (2022-04-07T10:45:32Z)
• Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
  RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。 畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。 提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
  論文  参考訳（メタデータ） (2022-02-15T17:38:30Z)
• Benchmarking high-fidelity pedestrian tracking systems for research, real-time monitoring and crowd control [55.41644538483948]
  実生活環境における高忠実な歩行者追跡は,群集動態研究において重要なツールである。 この技術が進歩するにつれて、社会においても益々有用になってきている。 歩行者追跡技術の研究と技術に成功させるためには、正確さの検証とベンチマークが不可欠である。 我々は、プライバシーに配慮した歩行者追跡技術のためのベンチマークスイートをコミュニティのオープンスタンダードに向けて提示し、議論する。
  論文  参考訳（メタデータ） (2021-08-26T11:45:26Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Ant Colony Inspired Machine Learning Algorithm for Identifying and Emulating Virtual Sensors [0.0]
  他のセンサーに基づいて特定のセンサーの出力をエミュレートすることが可能である。 読み出しをエミュレートできるセンサーのサブセットを特定するために、センサーはクラスタにグループ化されなければならない。 本稿では,このようなシステムにおける仮想センサを実現するために,エンドツーエンドのアルゴリズムソリューションを提案する。
  論文  参考訳（メタデータ） (2020-11-02T09:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。