論文の概要: QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors

• arxiv url: http://arxiv.org/abs/2306.05666v1
• Date: Fri, 9 Jun 2023 04:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 14:46:33.499637
• Title: QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors
• Title（参考訳）: QuestEnvSim:スパースセンサによる環境認識型モーショントラッキング
• Authors: Sunmin Lee, Sebastian Starke, Yuting Ye, Jungdam Won, and Alexander Winkler
• Abstract要約: ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
• 参考スコア（独自算出の注目度）: 69.75711933065378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replicating a user's pose from only wearable sensors is important for many AR/VR applications. Most existing methods for motion tracking avoid environment interaction apart from foot-floor contact due to their complex dynamics and hard constraints. However, in daily life people regularly interact with their environment, e.g. by sitting on a couch or leaning on a desk. Using Reinforcement Learning, we show that headset and controller pose, if combined with physics simulation and environment observations can generate realistic full-body poses even in highly constrained environments. The physics simulation automatically enforces the various constraints necessary for realistic poses, instead of manually specifying them as in many kinematic approaches. These hard constraints allow us to achieve high-quality interaction motions without typical artifacts such as penetration or contact sliding. We discuss three features, the environment representation, the contact reward and scene randomization, crucial to the performance of the method. We demonstrate the generality of the approach through various examples, such as sitting on chairs, a couch and boxes, stepping over boxes, rocking a chair and turning an office chair. We believe these are some of the highest-quality results achieved for motion tracking from sparse sensor with scene interaction.
• Abstract（参考訳）: 多くのAR/VRアプリケーションでは、ウェアラブルセンサーのみからユーザのポーズを再現することが重要である。 運動追跡のための既存のほとんどの方法は、複雑な力学と厳しい制約のため、足底接触以外の環境相互作用を避ける。 しかし、日常生活では、ソファに座っていたり、机に寄りかかっていたりするなど、日常的に環境と交流する。 強化学習を用いて,物理シミュレーションと環境観察を組み合わせることで,高度に制約された環境でも現実的な全身ポーズを生成できることを示す。 物理シミュレーションは、多くのキネマティックなアプローチのように手動で指定するのではなく、リアルなポーズに必要な様々な制約を自動で強制する。 これらの厳密な制約は、侵入や接触スライディングのような典型的な人工物なしで高品質な相互作用運動を実現することができる。 本研究では, 環境表現, 接触報酬, シーンランダム化の3つの特徴について検討した。 提案手法は, 椅子やソファ, 箱の上に座って, 箱の上を踏む, 椅子を揺らす, オフィスの椅子を回すといった, 様々な例を通じて, 一般性を示す。 これらは、シーンインタラクションを伴うスパースセンサーからのモーショントラッキングにおいて達成された、高品質な結果の1つである。

関連論文リスト

• Physics-based Scene Layout Generation from Human Motion [21.939444709132395]
  本研究では、シーンレイアウト生成を同時に最適化し、物理シミュレータで動く人間をシミュレートする物理に基づくアプローチを提案する。 我々は、強化学習を用いて、キャラクタ動作模倣コントローラとシーンレイアウトジェネレータの両方の二重最適化を行う。 提案手法は,SAMPとPROXの動作を用いて評価し,従来のキネマティクス法と比較して,物理的に妥当なシーンレイアウトの再構築を示す。
  論文  参考訳（メタデータ） (2024-05-21T02:36:37Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• Synthesizing Physically Plausible Human Motions in 3D Scenes [41.1310197485928]
  物理的にシミュレートされたキャラクタが,多様で散らばった,見えない場面で長時間のインタラクションタスクを実行できるフレームワークを提案する。 具体的には、InterConには2つの補完的なポリシーが含まれており、文字が対話状態に入り、去ることができる。 異なる場所でのオブジェクトとのインタラクションを生成するために,3Dシーンの自由空間において文字の動きを保ち続けるために,ポリシーに従う軌道であるNavConをさらに設計する。
  論文  参考訳（メタデータ） (2023-08-17T15:17:49Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• Synthesizing Physical Character-Scene Interactions [64.26035523518846]
  仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。 本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。 我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-02T05:21:32Z)
• Stochastic Scene-Aware Motion Prediction [41.6104600038666]
  本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。 SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
  論文  参考訳（メタデータ） (2021-08-18T17:56:17Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。