論文の概要: SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions

• arxiv url: http://arxiv.org/abs/2502.02883v1
• Date: Wed, 05 Feb 2025 04:41:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:45.790493
• Title: SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions
• Title（参考訳）: SensorChat: 長期マルチモーダルセンサインタラクションにおける質的・定量的質問への回答
• Authors: Xiaofan Yu, Lanxiang Hu, Benjamin Reichman, Dylan Chu, Rushil Chandrupatla, Xiyuan Zhang, Larry Heck, Tajana Rosing,
• Abstract要約: 我々は,長期センサ監視用に設計された最初のエンドツーエンドQAシステムであるSensorChatを紹介する。 SensorChatは、現実のシナリオにおいて質的(高レベルの推論を必要とする)と定量的(センサーデータからの正確な応答を要求する)の両方に効果的に答える。 SensorChatを実装し,クラウドサーバ上でリアルタイムインタラクションを実現すると同時に,量子化後のエッジプラットフォーム上で完全に動作可能であることを実証する。
• 参考スコア（独自算出の注目度）: 7.549011805153971
• License:
• Abstract: Natural language interaction with sensing systems is crucial for enabling all users to comprehend sensor data and its impact on their everyday lives. However, existing systems, which typically operate in a Question Answering (QA) manner, are significantly limited in terms of the duration and complexity of sensor data they can handle. In this work, we introduce SensorChat, the first end-to-end QA system designed for long-term sensor monitoring with multimodal and high-dimensional data including time series. SensorChat effectively answers both qualitative (requiring high-level reasoning) and quantitative (requiring accurate responses derived from sensor data) questions in real-world scenarios. To achieve this, SensorChat uses an innovative three-stage pipeline that includes question decomposition, sensor data query, and answer assembly. The first and third stages leverage Large Language Models (LLMs) for intuitive human interactions and to guide the sensor data query process. Unlike existing multimodal LLMs, SensorChat incorporates an explicit query stage to precisely extract factual information from long-duration sensor data. We implement SensorChat and demonstrate its capability for real-time interactions on a cloud server while also being able to run entirely on edge platforms after quantization. Comprehensive QA evaluations show that SensorChat achieves up to 26% higher answer accuracy than state-of-the-art systems on quantitative questions. Additionally, a user study with eight volunteers highlights SensorChat's effectiveness in handling qualitative and open-ended questions.
• Abstract（参考訳）: センサシステムとの自然言語インタラクションは,センサデータとその日常生活への影響を理解する上で極めて重要である。 しかしながら、質問応答(QA)方式で運用される既存のシステムは、処理可能なセンサデータの持続時間と複雑さに関して、著しく制限されている。 本研究では,時系列を含むマルチモーダル・高次元データを用いた長期センサ監視のための,最初のエンドツーエンドQAシステムであるSensorChatを紹介する。 SensorChatは、現実のシナリオにおいて、質的(高レベルの推論を必要とする)と定量的(センサーデータに由来する正確な応答を要求する)の両方に効果的に答える。 これを実現するためにSensorChatは、質問分解、センサデータクエリ、回答アセンブリを含む革新的な3段階パイプラインを使用している。 第1ステージと第3ステージは、人間の直感的なインタラクションにLarge Language Models (LLM)を活用し、センサーデータクエリプロセスをガイドする。 既存のマルチモーダルLLMとは異なり、SensorChatは明示的なクエリステージを組み込んで、長期センサーデータから事実情報を正確に抽出する。 SensorChatを実装し,クラウドサーバ上でリアルタイムインタラクションを実現すると同時に,量子化後のエッジプラットフォーム上で完全に動作可能であることを実証する。 総合的なQA評価では、SensorChatは、定量的質問に対する最先端システムよりも最大26%高い回答精度を達成している。 さらに、8人のボランティアによるユーザスタディでは、質的およびオープンな質問を扱うSensorChatの有効性を強調している。

関連論文リスト

• Show Me What and Where has Changed? Question Answering and Grounding for Remote Sensing Change Detection [82.65760006883248]
  我々は,CDQAG (Change Detection Question Answering and Grounding) という新しいタスクを導入する。 CDQAGは、解釈可能なテキスト回答と直感的な視覚的証拠を提供することで、従来の変更検出タスクを拡張している。 QAG-360Kと呼ばれる最初のCDQAGベンチマークデータセットを構築し、360K以上の質問、テキスト回答、およびそれに対応する高品質な視覚マスクを含む。
  論文  参考訳（メタデータ） (2024-10-31T11:20:13Z)
• SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing [6.8009140511761546]
  大規模言語モデル(LLM)は、知覚データを処理する上で有望な能力を持ち、センサーシステムを開発するための副操縦士としての可能性を示している。 我々は,定量化のための総合的なベンチマークであるSensorBenchを構築した。 以上の結果から,LLMは単純なタスクでかなりの習熟度を示す一方で,構成タスクの処理において固有の課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T17:21:39Z)
• SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition [9.072495000412943]
  我々は、Large Language Models(LLM)が人間の活動認識(HAR)のような時系列タスクを理解できるようにすることで、ウェアラブルセンサー技術とパーソナライズされたAIアシスタントのギャップを埋める。 センサデータタスクに対するLLMのポテンシャルを解放する2段階フレームワークであるSensorLLMを紹介する。 我々は,SensorLLMが効果的なセンサ学習者,推論者,学習者へと進化し,HARタスクのための多様なデータセットをまたいで一般化できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T15:30:41Z)
• Anomaly Detection and Inter-Sensor Transfer Learning on Smart Manufacturing Datasets [6.114996271792091]
  スマートマニュファクチャリングシステムの目標は、運用コストを削減し、ダウンタイムをなくすために、失敗を迅速に検出(または予測)することである。 これはしばしば、システムから取得したセンサーの日程内で異常を検出することに起因する。 スマートマニュファクチャリングアプリケーションドメインは、ある種の健全な技術的課題を提起します。 予測的障害分類が達成できることを示し、予測的メンテナンスの道を開く。
  論文  参考訳（メタデータ） (2022-06-13T17:51:24Z)
• Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
  SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
  論文  参考訳（メタデータ） (2022-04-07T10:45:32Z)
• Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
  RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。 畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。 提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
  論文  参考訳（メタデータ） (2022-02-15T17:38:30Z)
• Benchmarking high-fidelity pedestrian tracking systems for research, real-time monitoring and crowd control [55.41644538483948]
  実生活環境における高忠実な歩行者追跡は,群集動態研究において重要なツールである。 この技術が進歩するにつれて、社会においても益々有用になってきている。 歩行者追跡技術の研究と技術に成功させるためには、正確さの検証とベンチマークが不可欠である。 我々は、プライバシーに配慮した歩行者追跡技術のためのベンチマークスイートをコミュニティのオープンスタンダードに向けて提示し、議論する。
  論文  参考訳（メタデータ） (2021-08-26T11:45:26Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Ant Colony Inspired Machine Learning Algorithm for Identifying and Emulating Virtual Sensors [0.0]
  他のセンサーに基づいて特定のセンサーの出力をエミュレートすることが可能である。 読み出しをエミュレートできるセンサーのサブセットを特定するために、センサーはクラスタにグループ化されなければならない。 本稿では,このようなシステムにおける仮想センサを実現するために,エンドツーエンドのアルゴリズムソリューションを提案する。
  論文  参考訳（メタデータ） (2020-11-02T09:06:14Z)
• Learning Camera Miscalibration Detection [83.38916296044394]
  本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。 コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。 深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-24T10:32:49Z)
• RelSen: An Optimization-based Framework for Simultaneously Sensor Reliability Monitoring and Data Cleaning [7.359795285967954]
  ほとんどのセンサアプリケーションでは、センサーはエラーを起こしやすいことが知られており、その測定は予想外のタイミングで誤解を招く可能性がある。 既存の研究では、センサーの信頼性の監視とセンサデータのクリーニングを別の問題と見なすことが多い。 本稿では,これら2つの問題に相互依存を利用して同時に対処する,新しい最適化ベースのフレームワークであるRelSenを提案する。
  論文  参考訳（メタデータ） (2020-04-19T03:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。