論文の概要: Deep Billboards towards Lossless Real2Sim in Virtual Reality
- arxiv url: http://arxiv.org/abs/2208.08861v1
- Date: Mon, 8 Aug 2022 16:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-28 22:23:01.627933
- Title: Deep Billboards towards Lossless Real2Sim in Virtual Reality
- Title（参考訳）: バーチャルリアリティーにおけるロスレスリアル2Simに向けた深いビルボード
- Authors: Naruya Kondo, So Kuroki, Ryosuke Hyakuta, Yutaka Matsuo, Shixiang
Shane Gu, Yoichi Ochiai
- Abstract要約: ニューラルネットワークを用いて暗黙的に3Dオブジェクトをモデル化するディープビルボードを開発した。
我々のシステムは、商用VRヘッドセットとニューラルレンダリングを実行するサーバーを接続することで、詳細な剛体物体をリアルタイムに高精度にシミュレーションすることができる。
私たちはDeep Billboardsを物理的なインタラクション能力で強化し、スクリーンベースのゲームから没入型VRに古典的なビルボードを適応させました。
- 参考スコア（独自算出の注目度）: 20.7032774699291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An aspirational goal for virtual reality (VR) is to bring in a rich diversity
of real world objects losslessly. Existing VR applications often convert
objects into explicit 3D models with meshes or point clouds, which allow fast
interactive rendering but also severely limit its quality and the types of
supported objects, fundamentally upper-bounding the "realism" of VR. Inspired
by the classic "billboards" technique in gaming, we develop Deep Billboards
that model 3D objects implicitly using neural networks, where only 2D image is
rendered at a time based on the user's viewing direction. Our system,
connecting a commercial VR headset with a server running neural rendering,
allows real-time high-resolution simulation of detailed rigid objects, hairy
objects, actuated dynamic objects and more in an interactive VR world,
drastically narrowing the existing real-to-simulation (real2sim) gap.
Additionally, we augment Deep Billboards with physical interaction capability,
adapting classic billboards from screen-based games to immersive VR. At our
pavilion, the visitors can use our off-the-shelf setup for quickly capturing
their favorite objects, and within minutes, experience them in an immersive and
interactive VR world with minimal loss of reality. Our project page:
https://sites.google.com/view/deepbillboards/
- Abstract（参考訳）: vr(virtual reality)の野心的な目標は、現実世界のオブジェクトの多様性を損失なく生み出すことだ。
既存のVRアプリケーションは、オブジェクトをメッシュやポイントクラウドを備えた明示的な3Dモデルに変換し、高速なインタラクティブレンダリングを可能にすると同時に、その品質とサポート対象のタイプを著しく制限する。
ゲームにおける古典的な「ビルボード」技術にインスパイアされた我々は、ニューラルネットワークを使って暗黙的に3Dオブジェクトをモデル化するディープビルボードを開発した。
我々のシステムは、商用VRヘッドセットとニューラルレンダリングを実行するサーバーを接続することで、インタラクティブVRの世界において、細かな剛体、毛むくじゃらの物体、アクティベートされた動的物体などのリアルタイムな高解像度シミュレーションを可能にし、既存のリアルタイムシミュレーション(real2sim)ギャップを大幅に狭める。
さらに、Deep Billboardsを物理的なインタラクション能力で強化し、スクリーンベースのゲームから没入型VRに古典的なビルボードを適応させました。
われわれのパビリオンでは、来場者は私たちの既成品のセットアップを使って、お気に入りのオブジェクトを素早くキャプチャし、数分で没入型でインタラクティブなvrの世界を体験できる。
プロジェクトページ: https://sites.google.com/view/deepbillboards/
関連論文リスト
- VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。
これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。
本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-23T14:54:48Z) - PanoTree: Autonomous Photo-Spot Explorer in Virtual Reality Scenes [2.4140502941897544]
ソーシャルVRでは、VRシーン内の写真は訪問者の活動を示す重要な指標である。
我々は、VRシーンにおける自動写真スポットエクスプローラーであるPanoTreeを提案する。
ディープスコアリングネットワークは、ソーシャルVRプラットフォームが収集した大量の写真をトレーニングし、人間が同様の写真を撮るかどうかを判断する。
論文 参考訳（メタデータ） (2024-05-27T12:54:05Z) - VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。
私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
論文 参考訳（メタデータ） (2024-01-30T01:28:36Z) - VR.net: A Real-world Dataset for Virtual Reality Motion Sickness
Research [33.092692299254814]
VR.netは10のジャンルで10の現実世界のゲームから約12時間のゲームプレイビデオを提供するデータセットである。
各ビデオフレームに対して、カメラ/オブジェクト移動、深度場、モーションフローなど、モーション病関連ラベルの豊富なセットを正確に割り当てる。
我々は,VRゲームのソースコードにアクセスすることなく,3Dエンジンのレンダリングパイプラインから地上の真実データを自動的かつ正確に抽出するツールを利用する。
論文 参考訳（メタデータ） (2023-06-06T03:43:11Z) - Virtual Reality in Metaverse over Wireless Networks with User-centered
Deep Reinforcement Learning [8.513938423514636]
無線通信シナリオ上でのマルチユーザVR計算のオフロードについて紹介する。
さらに, ユーザ中心の深層強化学習手法を考案し, ほぼ最適解を求める。
論文 参考訳（メタデータ） (2023-03-08T03:10:41Z) - OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic
Perception, Reconstruction and Generation [107.71752592196138]
OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。
190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。
それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
論文 参考訳（メタデータ） (2023-01-18T18:14:18Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳（メタデータ） (2022-10-03T20:51:25Z) - Towards 3D VR-Sketch to 3D Shape Retrieval [128.47604316459905]
入力モダリティとしての3Dスケッチの利用について検討し、検索を行うVRシナリオを提唱する。
この新しい3DVR-Sketchから3D形状の検索問題に対する最初のスタンプとして、私たちは4つのコントリビューションを行います。
論文 参考訳（メタデータ） (2022-09-20T22:04:31Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳（メタデータ） (2021-04-10T15:48:53Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。