論文の概要: AgentSense: Virtual Sensor Data Generation Using LLM Agents in Simulated Home Environments

• arxiv url: http://arxiv.org/abs/2506.11773v3
• Date: Wed, 06 Aug 2025 15:26:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:08.914687
• Title: AgentSense: Virtual Sensor Data Generation Using LLM Agents in Simulated Home Environments
• Title（参考訳）: エージェントセンス:実環境におけるLLMエージェントを用いた仮想センサデータ生成
• Authors: Zikang Leng, Megha Thukral, Yaqi Liu, Hrudhai Rajasekhar, Shruthi K. Hiremath, Jiaman He, Thomas Plötz,
• Abstract要約: 我々は、内的世界モデルによって導かれる模擬環境の中で知覚し、行動する、具体化されたAIエージェント-仮想エージェントのアイデアを活用する。 我々はAgentSenseを紹介した。これは仮想データ生成パイプラインで、エージェントはシミュレーションされたスマートホームで毎日のルーチンを生活する。 われわれのアプローチは、現実世界の多様性を反映したリッチでプライバシー保護のセンサーデータを生成する。
• 参考スコア（独自算出の注目度）: 2.9698967396161624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major challenge in developing robust and generalizable Human Activity Recognition (HAR) systems for smart homes is the lack of large and diverse labeled datasets. Variations in home layouts, sensor configurations, and individual behaviors further exacerbate this issue. To address this, we leverage the idea of embodied AI agents-virtual agents that perceive and act within simulated environments guided by internal world models. We introduce AgentSense, a virtual data generation pipeline in which agents live out daily routines in simulated smart homes, with behavior guided by Large Language Models (LLMs). The LLM generates diverse synthetic personas and realistic routines grounded in the environment, which are then decomposed into fine-grained actions. These actions are executed in an extended version of the VirtualHome simulator, which we augment with virtual ambient sensors that record the agents' activities. Our approach produces rich, privacy-preserving sensor data that reflects real-world diversity. We evaluate AgentSense on five real HAR datasets. Models pretrained on the generated data consistently outperform baselines, especially in low-resource settings. Furthermore, combining the generated virtual sensor data with a small amount of real data achieves performance comparable to training on full real-world datasets. These results highlight the potential of using LLM-guided embodied agents for scalable and cost-effective sensor data generation in HAR.
• Abstract（参考訳）: スマートホームのための堅牢で一般化可能なヒューマンアクティビティ認識(HAR)システムを開発する上での大きな課題は、大規模で多様なラベル付きデータセットの欠如である。 ホームレイアウト、センサー構成、個人の振る舞いの変化により、この問題はさらに悪化する。 この問題に対処するために、私たちは、内的世界モデルによってガイドされたシミュレーション環境内で知覚され、行動する、AIエージェントと仮想エージェントを具体化するアイデアを活用します。 我々はAgentSenseという仮想データ生成パイプラインを紹介し、エージェントはシミュレーションされたスマートホームで日々のルーチンを過ごし、その振る舞いはLarge Language Models (LLMs)によってガイドされる。 LLMは環境に根ざした多様な合成ペルソナと現実的なルーチンを生成し、それをきめ細かなアクションに分解する。 これらのアクションはVirtualHomeシミュレータの拡張バージョンで実行され、エージェントの活動を記録する仮想環境センサで強化されます。 われわれのアプローチは、現実世界の多様性を反映したリッチでプライバシー保護のセンサーデータを生成する。 我々は,5つの実HARデータセット上でAgentSenseを評価する。 生成されたデータに基づいて事前訓練されたモデルは、特に低リソース設定において、ベースラインを一貫して上回る。 さらに、生成された仮想センサデータを少量の実データと組み合わせることで、完全な実世界のデータセットでのトレーニングに匹敵するパフォーマンスが得られる。 これらの結果は,HARにおけるスケーラブルで費用対効果の高いセンサデータ生成にLLM誘導の実施の可能性を強調した。

関連論文リスト

• How Real is CARLAs Dynamic Vision Sensor? A Study on the Sim-to-Real Gap in Traffic Object Detection [0.0]
  イベントカメラは、交差点でのリアルタイム物体検出に適している。 堅牢なイベントベース検出モデルの開発は、注釈付き現実世界データセットの可用性の制限によって妨げられている。 本研究では,CARLAs DVSを用いたイベントベース物体検出におけるsim-to-realギャップの定量的解析を行った。
  論文  参考訳（メタデータ） (2025-06-16T17:27:43Z)
• SensorLM: Learning the Language of Wearable Sensors [50.95988682423808]
  本稿では,自然言語によるウェアラブルセンサデータ理解を可能にするセンサ言語基盤モデルのファミリーであるSensorLMを紹介する。 本稿では,センサデータから統計的,構造的,意味的な情報を収集する階層的なキャプション生成パイプラインを提案する。 このアプローチにより、これまでで最大のセンサー言語データセットのキュレーションが可能となり、103,000人以上から5970万時間以上のデータを収集した。
  論文  参考訳（メタデータ） (2025-06-10T17:13:09Z)
• Scaling Human Activity Recognition: A Comparative Evaluation of Synthetic Data Generation and Augmentation Techniques [1.0712226955584796]
  HAR(Human Activity Recognition)は、ラベル付きデータセットの不足によってしばしば制限される。 近年, 仮想慣性測定ユニット(IMU)データの生成について, クロスモーダル転送による検討が行われている。
  論文  参考訳（メタデータ） (2025-06-09T10:25:53Z)
• Synth It Like KITTI: Synthetic Data Generation for Object Detection in Driving Scenarios [3.30184292168618]
  本稿では,LiDAR点雲上での3次元物体検出のためのCARLAシミュレータに基づくデータセット生成パイプラインを提案する。 我々は、合成データに基づいてオブジェクト検出器を訓練し、KITTIデータセットに強力な一般化能力を示すことができる。
  論文  参考訳（メタデータ） (2025-02-20T22:27:42Z)
• A Toolkit for Virtual Reality Data Collection [12.660959713097014]
  広汎なVRデータセットの取得を容易にする汎用データ収集ツールキットを提案する。 ツールキットは、直接OpenXR経由で、または仮想デバイス経由で、任意のデバイスとシームレスに統合します。
  論文  参考訳（メタデータ） (2024-12-23T11:39:26Z)
• Synthesizing Post-Training Data for LLMs through Multi-Agent Simulation [51.20656279478878]
  MATRIXは、様々なテキストベースのシナリオを自動的に生成するマルチエージェントシミュレータである。 制御可能でリアルなデータ合成のためのMATRIX-Genを紹介する。 AlpacaEval 2 と Arena-Hard のベンチマークでは、Llama-3-8B-Base が、MATRIX-Gen によって合成されたデータセット上で、たった 20K の命令応答ペアで、Meta の Llama-3-8B-Instruct モデルより優れています。
  論文  参考訳（メタデータ） (2024-10-18T08:01:39Z)
• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications [55.24463002889]
  我々は深度データ合成に焦点をあて、レンジ対応RGB-Dデータシミュレーションパイプライン(RaSim)を開発した。 特に、実世界のセンサーの撮像原理を模倣して高忠実度深度データを生成する。 RaSimは、下流のRGB-D知覚タスクで微調整をすることなく、現実世界のシナリオに直接適用することができる。
  論文  参考訳（メタデータ） (2024-04-05T08:52:32Z)
• AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
  一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。 AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。 オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。 環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
  論文  参考訳（メタデータ） (2024-03-26T17:54:15Z)
• Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
  ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。 実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。 結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-03-22T17:49:11Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• Development of a Realistic Crowd Simulation Environment for Fine-grained Validation of People Tracking Methods [0.7223361655030193]
  この研究は、群衆シミュレーションの拡張(CrowdSim2)を開発し、人追跡アルゴリズムの適用性を証明する。 シミュレータは非常に人気のあるUnity 3Dエンジンを使用して開発されており、特に環境におけるリアリズムの側面に焦点を当てている。 IOU-Tracker、Deep-Sort、Deep-TAMAという3つのトラッキング手法が生成されたデータセットの検証に使用された。
  論文  参考訳（メタデータ） (2023-04-26T09:29:58Z)
• Quantifying the LiDAR Sim-to-Real Domain Shift: A Detailed Investigation Using Object Detectors and Analyzing Point Clouds at Target-Level [1.1999555634662635]
  自律運転のためのニューラルネットワークに基づくLiDARオブジェクト検出アルゴリズムは、トレーニング、検証、テストのために大量のデータを必要とする。 ニューラルネットワークのトレーニングにシミュレーションデータを使用することで、シーン、シナリオ、分布の違いによるトレーニングデータとテストデータのドメインシフトが生じることを示す。
  論文  参考訳（メタデータ） (2023-03-03T12:52:01Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• IMUTube: Automatic Extraction of Virtual on-body Accelerometry from Video for Human Activity Recognition [12.91206329972949]
  IMUTubeは、人間の活動の映像をIMUデータの仮想ストリームに変換する自動処理パイプラインである。 これらの仮想IMUストリームは、人体の様々な場所で加速度計を表現している。 本稿では,実際のIMUデータにより,既知のHARデータセット上での各種モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-29T21:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。