論文の概要: DiVR: incorporating context from diverse VR scenes for human trajectory prediction

• arxiv url: http://arxiv.org/abs/2411.08409v1
• Date: Wed, 13 Nov 2024 07:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:41.758770
• Title: DiVR: incorporating context from diverse VR scenes for human trajectory prediction
• Title（参考訳）: DiVR:人間の軌道予測に多様なVRシーンからコンテキストを取り入れる
• Authors: Franz Franco Gallo, Hui-Yin Wu, Lucile Sassatelli,
• Abstract要約: 本稿では,Perceiver アーキテクチャに基づくクロスモーダルトランスフォーマである DiVR (Diverse Context VR Human Motion Prediction) を提案する。 その結果、DVRは他のモデルや静的グラフと比較して精度と適応性が高いことがわかった。 ソースコードはhttps://gitlab.inria.fr/ffrancog/creattive3d-divr-modelで公開されています。
• 参考スコア（独自算出の注目度）: 2.16656895298847
• License:
• Abstract: Virtual environments provide a rich and controlled setting for collecting detailed data on human behavior, offering unique opportunities for predicting human trajectories in dynamic scenes. However, most existing approaches have overlooked the potential of these environments, focusing instead on static contexts without considering userspecific factors. Employing the CREATTIVE3D dataset, our work models trajectories recorded in virtual reality (VR) scenes for diverse situations including road-crossing tasks with user interactions and simulated visual impairments. We propose Diverse Context VR Human Motion Prediction (DiVR), a cross-modal transformer based on the Perceiver architecture that integrates both static and dynamic scene context using a heterogeneous graph convolution network. We conduct extensive experiments comparing DiVR against existing architectures including MLP, LSTM, and transformers with gaze and point cloud context. Additionally, we also stress test our model's generalizability across different users, tasks, and scenes. Results show that DiVR achieves higher accuracy and adaptability compared to other models and to static graphs. This work highlights the advantages of using VR datasets for context-aware human trajectory modeling, with potential applications in enhancing user experiences in the metaverse. Our source code is publicly available at https://gitlab.inria.fr/ffrancog/creattive3d-divr-model.
• Abstract（参考訳）: 仮想環境は、人間の行動に関する詳細なデータを収集するためのリッチで制御された設定を提供し、ダイナミックなシーンにおける人間の軌道を予測するユニークな機会を提供する。 しかし、既存のほとんどのアプローチは、ユーザ固有の要因を考慮せずに静的なコンテキストに焦点を当て、これらの環境の可能性を見落としている。 CREATTIVE3Dデータセットを利用することで、私たちのワークモデルが仮想現実(VR)シーンで記録された軌跡を、ユーザインタラクションによる道路横断タスクや、シミュレーションされた視覚障害を含むさまざまな状況に当てはめます。 異種グラフ畳み込みネットワークを用いて静的および動的シーンコンテキストを統合した,Perceiverアーキテクチャに基づくクロスモーダルトランスフォーマであるDiverse Context VR Human Motion Prediction (DiVR)を提案する。 MLP,LSTM,トランスフォーマーなど,既存のアーキテクチャと比較して,視線と点の雲のコンテキストでDiVRを比較した広範な実験を行った。 さらに、異なるユーザ、タスク、シーン間でモデルの一般化性をテストすることも強調しています。 その結果、DVRは他のモデルや静的グラフと比較して精度と適応性が高いことがわかった。 この研究は、コンテキスト認識された人間の軌道モデリングにVRデータセットを使用することの利点を強調しており、メタバースにおけるユーザーエクスペリエンスの向上に潜在的な応用が期待できる。 ソースコードはhttps://gitlab.inria.fr/ffrancog/creattive3d-divr-modelで公開されています。

関連論文リスト

• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• User-centric Heterogeneous-action Deep Reinforcement Learning for Virtual Reality in the Metaverse over Wireless Networks [8.513938423514636]
  本稿では,Metaverseサーバと複数のVRユーザで構成されるシステムについて考察する。 MetaverseのマルチユーザーVRシナリオでは、ユーザはFPS(Frames Per Second)の異なる特性と要求を持っている。 提案したユーザ中心型DRLアルゴリズムは、ユーザ中心型Critic with Heterogenous Actors (UCHA) と呼ばれる。
  論文  参考訳（メタデータ） (2023-02-03T00:12:12Z)
• UmeTrack: Unified multi-view end-to-end hand tracking for VR [34.352638006495326]
  空間における3Dハンドポーズのリアルタイム追跡は難しい問題であり、VRインタラクションにおいて重要な役割を果たす。 本稿では,世界空間における3Dハンドポーズを直接予測する多視点多フレームハンドトラッキングのための,エンドツーエンドの識別可能な統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:09:21Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• SceneGen: Generative Contextual Scene Augmentation using Scene Graph Priors [3.1969855247377827]
  SceneGenは、既存のシーン内の仮想オブジェクトの位置と方向を予測する、生成的コンテキスト拡張フレームワークである。 SceneGenはセグメンテーションされたシーンを入力として、仮想コンテンツを置くための位置と向きの確率マップを出力する。 オブジェクト, オブジェクト群, 部屋間の明確な位相特性をカプセル化した空間的シーングラフ表現を定式化する。 そこで本研究では,オブジェクトをリアルタイムに拡張可能な拡張現実アプリケーションを開発した。
  論文  参考訳（メタデータ） (2020-09-25T18:36:27Z)
• AC-VRNN: Attentive Conditional-VRNN for Multi-Future Trajectory Prediction [30.61190086847564]
  条件付き変動リカレントニューラルネットワーク(C-VRNN)に基づくマルチフューチャ軌道予測のための生成アーキテクチャを提案する。 ヒューマンインタラクションは、繰り返し推定のオンライン注意深い隠れ状態改善を可能にするグラフベースのアテンションメカニズムでモデル化される。
  論文  参考訳（メタデータ） (2020-05-17T17:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。