論文の概要: Synthesizing Event-centric Knowledge Graphs of Daily Activities Using
Virtual Space
- arxiv url: http://arxiv.org/abs/2307.16206v1
- Date: Sun, 30 Jul 2023 11:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:55:48.229312
- Title: Synthesizing Event-centric Knowledge Graphs of Daily Activities Using
Virtual Space
- Title（参考訳）: 仮想空間を用いた日常活動のイベント中心知識グラフの合成
- Authors: Shusaku Egami, Takanori Ugai, Mikiko Oono, Koji Kitamura, Ken Fukuda
- Abstract要約: 本研究では,仮想空間における日常生活活動の合成KGを生成するためのVirtualHome2KGフレームワークを提案する。
本フレームワークは、日常活動の合成ビデオデータと、映像コンテンツに対応する文脈意味データの両方を増強する。
関連データや意味情報が不十分なため、従来開発が困難であった様々なアプリケーションを開発することができる。
- 参考スコア（独自算出の注目度）: 0.3324876873771104
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial intelligence (AI) is expected to be embodied in software agents,
robots, and cyber-physical systems that can understand the various contextual
information of daily life in the home environment to support human behavior and
decision making in various situations. Scene graph and knowledge graph (KG)
construction technologies have attracted much attention for knowledge-based
embodied question answering meeting this expectation. However, collecting and
managing real data on daily activities under various experimental conditions in
a physical space are quite costly, and developing AI that understands the
intentions and contexts is difficult. In the future, data from both virtual
spaces, where conditions can be easily modified, and physical spaces, where
conditions are difficult to change, are expected to be combined to analyze
daily living activities. However, studies on the KG construction of daily
activities using virtual space and their application have yet to progress. The
potential and challenges must still be clarified to facilitate AI development
for human daily life. Thus, this study proposes the VirtualHome2KG framework to
generate synthetic KGs of daily life activities in virtual space. This
framework augments both the synthetic video data of daily activities and the
contextual semantic data corresponding to the video contents based on the
proposed event-centric schema and virtual space simulation results. Therefore,
context-aware data can be analyzed, and various applications that have
conventionally been difficult to develop due to the insufficient availability
of relevant data and semantic information can be developed. We also demonstrate
herein the utility and potential of the proposed VirtualHome2KG framework
through several use cases, including the analysis of daily activities by
querying, embedding, and clustering, and fall risk detection among ...
- Abstract（参考訳）: 人工知能(AI)は、ソフトウェアエージェント、ロボット、サイバー物理システムに具体化され、家庭環境における日常生活の様々な文脈情報を理解し、様々な状況における人間の行動や意思決定を支援することが期待されている。
シーングラフと知識グラフ(KG)構築技術は、この期待に応える知識に基づく具体的質問に多くの注目を集めている。
しかし、物理空間における様々な実験条件下での日常活動の実データ収集と管理は非常にコストがかかり、意図や文脈を理解するAIの開発は困難である。
将来的には, 条件の変更が容易な仮想空間と, 条件の変更が困難な物理空間の両方からのデータを組み合わせることで, 日常の生活行動を分析することが期待されている。
しかし,仮想空間を用いた日常活動のKG構築とその応用に関する研究はまだ進んでいない。
人間の日常生活におけるai開発を促進するためには、まだ可能性と課題を明確にする必要がある。
そこで本研究では,仮想空間における日常生活活動の合成KGを生成するためのVirtualHome2KGフレームワークを提案する。
本フレームワークは,提案するイベント中心スキーマと仮想空間シミュレーション結果に基づいて,日常行動の合成映像データと映像内容に対応する文脈意味データの両方を補強する。
そのため、コンテキスト認識データの解析が可能であり、関連するデータや意味情報が不十分なため、従来開発が困難であった様々なアプリケーションを開発することができる。
また,提案するvirtualhome2kgフレームワークの有用性と可能性について,クエリ,埋め込み,クラスタリングによる日々のアクティビティの分析,フォールリスク検出など,いくつかのユースケースを通じて実証した。
関連論文リスト
- Multimodal Datasets and Benchmarks for Reasoning about Dynamic Spatio-Temporality in Everyday Environments [4.024850952459759]
我々のデータセットは、ロボットがホームセッティングにおける人間の行動や環境をどの程度理解できるかを測定する。
予備実験は、私たちのデータセットがAIの日常生活の理解を測定するのに役立つことを示唆している。
論文 参考訳（メタデータ） (2024-08-21T05:27:55Z) - Synthetic Multimodal Dataset for Empowering Safety and Well-being in
Home Environments [1.747623282473278]
本稿では,3次元仮想空間シミュレータからの映像データを知識グラフで融合した日中活動の合成マルチモーダル時間について述べる。
このデータセットはKGRC4SI(Knowledge Graph Reasoning Challenge Social Issues)のために開発された。
論文 参考訳（メタデータ） (2024-01-26T10:05:41Z) - Towards Ubiquitous Semantic Metaverse: Challenges, Approaches, and
Opportunities [68.03971716740823]
近年,拡張現実(AR)および仮想現実(VR)ユーザーのための没入型サイバーバーチャル体験に革命をもたらすために,ユビキタスセマンティック・メタバースが研究されている。
この調査は、ユビキタスメタバースにおける4つの基本システムコンポーネントの表現とインテリジェンスに焦点を当てる。
論文 参考訳（メタデータ） (2023-07-13T11:14:46Z) - ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。
私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。
我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-05-01T17:57:01Z) - Sense The Physical, Walkthrough The Virtual, Manage The Metaverse: A
Data-centric Perspective [38.00882742808889]
メタバースでは、物理空間と仮想空間が共存し、同時に相互作用する。
ユーザーがリアル空間とデジタル空間の間でシームレスに情報を処理し、操作できるようにするためには、新しい技術を開発する必要がある。
これには、スマートインターフェース、新しい拡張現実、効率的なストレージ、データ管理、分散技術が含まれる。
論文 参考訳（メタデータ） (2022-06-14T14:21:33Z) - Towards Everyday Virtual Reality through Eye Tracking [1.2691047660244335]
視線追跡は、人間の行動をリアルタイムで非侵襲的に評価する新しい技術である。
日常的なバーチャルリアリティーへの重要な科学的推進は、3つの主要な研究貢献によって完了した。
論文 参考訳（メタデータ） (2022-03-29T16:09:37Z) - Evaluating Continual Learning Algorithms by Generating 3D Virtual
Environments [66.83839051693695]
連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。
本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。
本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
論文 参考訳（メタデータ） (2021-09-16T10:37:21Z) - BEHAVIOR: Benchmark for Everyday Household Activities in Virtual,
Interactive, and Ecological Environments [70.18430114842094]
本稿では,シミュレーションにおける100のアクティビティを持つAIのベンチマークであるBEHAVIORを紹介する。
これらの活動は現実的で多様性があり、複雑であるように設計されています。
われわれは、バーチャルリアリティー(VR)における500件の人間デモを含む。
論文 参考訳（メタデータ） (2021-08-06T23:36:23Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - RoboTHOR: An Open Simulation-to-Real Embodied AI Platform [56.50243383294621]
インタラクティブで具体化された視覚AIの研究を民主化するためにRoboTHORを導入する。
シミュレーションで訓練されたモデルの性能は,シミュレーションと慎重に構築された物理アナログの両方で試験される場合,大きな差があることが示される。
論文 参考訳（メタデータ） (2020-04-14T20:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。