論文の概要: VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality

• arxiv url: http://arxiv.org/abs/2401.16663v2
• Date: Sat, 4 May 2024 21:17:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 23:45:49.758950
• Title: VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality
• Title（参考訳）: VR-GS:バーチャルリアリティにおける物理ダイナミクスを意識した対話型ガウス撮影システム
• Authors: Ying Jiang, Chang Yu, Tianyi Xie, Xuan Li, Yutao Feng, Huamin Wang, Minchen Li, Henry Lau, Feng Gao, Yin Yang, Chenfanfu Jiang,
• Abstract要約: 提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
• 参考スコア（独自算出の注目度）: 39.53150683721031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As consumer Virtual Reality (VR) and Mixed Reality (MR) technologies gain momentum, there's a growing focus on the development of engagements with 3D virtual content. Unfortunately, traditional techniques for content creation, editing, and interaction within these virtual spaces are fraught with difficulties. They tend to be not only engineering-intensive but also require extensive expertise, which adds to the frustration and inefficiency in virtual object manipulation. Our proposed VR-GS system represents a leap forward in human-centered 3D content interaction, offering a seamless and intuitive user experience. By developing a physical dynamics-aware interactive Gaussian Splatting in a Virtual Reality setting, and constructing a highly efficient two-level embedding strategy alongside deformable body simulations, VR-GS ensures real-time execution with highly realistic dynamic responses. The components of our Virtual Reality system are designed for high efficiency and effectiveness, starting from detailed scene reconstruction and object segmentation, advancing through multi-view image in-painting, and extending to interactive physics-based editing. The system also incorporates real-time deformation embedding and dynamic shadow casting, ensuring a comprehensive and engaging virtual experience.Our project page is available at: https://yingjiang96.github.io/VR-GS/.
• Abstract（参考訳）: コンシューマー向けバーチャルリアリティ(VR)とMixed Reality(MR)技術が勢いを増すにつれ、3D仮想コンテンツによるエンゲージメントの開発に焦点が当てられている。 残念なことに、これらの仮想空間内のコンテンツ作成、編集、インタラクションのための伝統的な技術は困難に満ちている。 エンジニアリング集約的なだけでなく、高度な専門知識を必要とする傾向があるため、仮想オブジェクト操作のフラストレーションと非効率性が増す。 提案したVR-GSシステムは、人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩であり、シームレスで直感的なユーザーエクスペリエンスを提供する。 物理力学を意識した対話型ガウススプラッティングをバーチャルリアリティ環境で開発し、変形可能なボディシミュレーションと並行して高効率な2レベル埋め込み戦略を構築することにより、VR-GSは高リアルな動的応答でリアルタイム実行を保証する。 我々のバーチャルリアリティーシステムのコンポーネントは、詳細なシーン再構成とオブジェクトセグメンテーションから、マルチビュー画像のインペイント、インタラクティブな物理ベースの編集まで、高効率で効果的に設計されている。 このシステムにはリアルタイムな変形埋め込みと動的シャドウキャスティングが組み込まれており、包括的で魅力的な仮想体験が保証されている。

関連論文リスト

• VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
  仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。 これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。 本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T14:54:48Z)
• Coral Model Generation from Single Images for Virtual Reality Applications [22.18438294137604]
  本稿では,1つの画像から高精度な3次元サンゴモデルを生成するディープラーニングフレームワークを提案する。 このプロジェクトには、AI生成モデルをインタラクティブな"アートワーク"に変換するための説明可能なAI(XAI)が組み込まれている。
  論文  参考訳（メタデータ） (2024-09-04T01:54:20Z)
• Haptic Repurposing with GenAI [5.424247121310253]
  Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。 本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-11T13:06:28Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• Virtual Reality in Metaverse over Wireless Networks with User-centered Deep Reinforcement Learning [8.513938423514636]
  無線通信シナリオ上でのマルチユーザVR計算のオフロードについて紹介する。 さらに, ユーザ中心の深層強化学習手法を考案し, ほぼ最適解を求める。
  論文  参考訳（メタデータ） (2023-03-08T03:10:41Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• Wireless Edge-Empowered Metaverse: A Learning-Based Incentive Mechanism for Virtual Reality [102.4151387131726]
  メタバースにおけるVRサービスのための学習型インセンティブメカニズムフレームワークを提案する。 まず,仮想世界におけるVRユーザのための指標として,知覚の質を提案する。 第二に、VRユーザー(買い手)とVR SP(売り手)間のVRサービスの迅速な取引のために、オランダの二重オークション機構を設計する。 第3に,この競売プロセスの高速化を目的とした深層強化学習型競売機を設計する。
  論文  参考訳（メタデータ） (2021-11-07T13:02:52Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。