論文の概要: AgentSense: Virtual Sensor Data Generation Using LLM Agents in Simulated Home Environments
- arxiv url: http://arxiv.org/abs/2506.11773v2
- Date: Mon, 16 Jun 2025 01:17:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 13:01:17.504956
- Title: AgentSense: Virtual Sensor Data Generation Using LLM Agents in Simulated Home Environments
- Title（参考訳）: エージェントセンス:実環境におけるLLMエージェントを用いた仮想センサデータ生成
- Authors: Zikang Leng, Megha Thukral, Yaqi Liu, Hrudhai Rajasekhar, Shruthi K. Hiremath, Thomas Plötz,
- Abstract要約: 堅牢で一般化可能なスマートホームベースのヒューマンアクティビティ認識(HAR)システムを開発する上での大きな障害は、大規模で多様なラベル付きデータセットの欠如である。
本稿では,大規模言語モデルを利用して多様なペルソナを生成する仮想データ生成パイプラインであるAgentSenseを紹介する。
仮想センサデータを活用することで,特に実データに制限がある場合,性能が大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 3.1188243518670076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major obstacle in developing robust and generalizable smart home-based Human Activity Recognition (HAR) systems is the lack of large-scale, diverse labeled datasets. Variability in home layouts, sensor configurations, and user behavior adds further complexity, as individuals follow varied routines and perform activities in distinct ways. Building HAR systems that generalize well requires training data that captures the diversity across users and environments. To address these challenges, we introduce AgentSense, a virtual data generation pipeline where diverse personas are generated by leveraging Large Language Models. These personas are used to create daily routines, which are then decomposed into low-level action sequences. Subsequently, the actions are executed in a simulated home environment called VirtualHome that we extended with virtual ambient sensors capable of recording the agents activities as they unfold. Overall, AgentSense enables the generation of rich, virtual sensor datasets that represent a wide range of users and home settings. Across five benchmark HAR datasets, we show that leveraging our virtual sensor data substantially improves performance, particularly when real data are limited. Notably, models trained on a combination of virtual data and just a few days of real data achieve performance comparable to those trained on the entire real datasets. These results demonstrate and prove the potential of virtual data to address one of the most pressing challenges in ambient sensing, which is the distinct lack of large-scale, annotated datasets without requiring any manual data collection efforts.
- Abstract（参考訳）: 堅牢で一般化可能なスマートホームベースのヒューマンアクティビティ認識(HAR)システムを開発する上での大きな障害は、大規模で多様なラベル付きデータセットの欠如である。
ホームレイアウト、センサー構成、ユーザー行動の変動は、個人がさまざまなルーチンに従い、異なる方法でアクティビティを実行するため、さらに複雑さを増す。
一般化したHARシステムの構築には、ユーザと環境間の多様性をキャプチャするトレーニングデータが必要である。
このような課題に対処するために,大規模言語モデルを活用した多様なペルソナを生成する仮想データ生成パイプラインであるAgentSenseを紹介した。
これらのペルソナは、日々のルーチンを作成するために使用され、その後、低レベルのアクションシーケンスに分解される。
次に, エージェントの活動を記録する仮想環境センサを用いて, シミュレーションされたホーム環境であるVirtualHomeで動作を実行した。
全体として、AgentSenseは、幅広いユーザとホーム設定を表すリッチで仮想的なセンサーデータセットを生成することができる。
5つのベンチマークHARデータセットを通して、仮想センサデータを活用することで、特に実際のデータが制限された場合、パフォーマンスが大幅に向上することを示す。
特に、仮想データと数日間の実際のデータの組み合わせでトレーニングされたモデルは、実際のデータセット全体をトレーニングしたモデルに匹敵するパフォーマンスを達成する。
これらの結果は、手作業によるデータ収集を必要とせず、大規模で注釈付きデータセットの欠如である、環境センシングにおける最も差し迫った課題の1つに対処する仮想データの可能性を示し、証明する。
関連論文リスト
- SensorLM: Learning the Language of Wearable Sensors [50.95988682423808]
本稿では,自然言語によるウェアラブルセンサデータ理解を可能にするセンサ言語基盤モデルのファミリーであるSensorLMを紹介する。
本稿では,センサデータから統計的,構造的,意味的な情報を収集する階層的なキャプション生成パイプラインを提案する。
このアプローチにより、これまでで最大のセンサー言語データセットのキュレーションが可能となり、103,000人以上から5970万時間以上のデータを収集した。
論文 参考訳（メタデータ） (2025-06-10T17:13:09Z) - Scaling Human Activity Recognition: A Comparative Evaluation of Synthetic Data Generation and Augmentation Techniques [1.0712226955584796]
HAR(Human Activity Recognition)は、ラベル付きデータセットの不足によってしばしば制限される。
近年, 仮想慣性測定ユニット(IMU)データの生成について, クロスモーダル転送による検討が行われている。
論文 参考訳（メタデータ） (2025-06-09T10:25:53Z) - Synth It Like KITTI: Synthetic Data Generation for Object Detection in Driving Scenarios [3.30184292168618]
本稿では,LiDAR点雲上での3次元物体検出のためのCARLAシミュレータに基づくデータセット生成パイプラインを提案する。
我々は、合成データに基づいてオブジェクト検出器を訓練し、KITTIデータセットに強力な一般化能力を示すことができる。
論文 参考訳（メタデータ） (2025-02-20T22:27:42Z) - A Toolkit for Virtual Reality Data Collection [12.660959713097014]
広汎なVRデータセットの取得を容易にする汎用データ収集ツールキットを提案する。
ツールキットは、直接OpenXR経由で、または仮想デバイス経由で、任意のデバイスとシームレスに統合します。
論文 参考訳（メタデータ） (2024-12-23T11:39:26Z) - Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。
最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。
この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文 参考訳（メタデータ） (2024-10-17T15:08:21Z) - RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications [55.24463002889]
我々は深度データ合成に焦点をあて、レンジ対応RGB-Dデータシミュレーションパイプライン(RaSim)を開発した。
特に、実世界のセンサーの撮像原理を模倣して高忠実度深度データを生成する。
RaSimは、下流のRGB-D知覚タスクで微調整をすることなく、現実世界のシナリオに直接適用することができる。
論文 参考訳（メタデータ） (2024-04-05T08:52:32Z) - AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。
AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。
オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。
環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
論文 参考訳（メタデータ） (2024-03-26T17:54:15Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2024-03-22T17:49:11Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - IMUTube: Automatic Extraction of Virtual on-body Accelerometry from
Video for Human Activity Recognition [12.91206329972949]
IMUTubeは、人間の活動の映像をIMUデータの仮想ストリームに変換する自動処理パイプラインである。
これらの仮想IMUストリームは、人体の様々な場所で加速度計を表現している。
本稿では,実際のIMUデータにより,既知のHARデータセット上での各種モデルの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-05-29T21:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。