論文の概要: Thing2Reality: Transforming 2D Content into Conditioned Multiviews and 3D Gaussian Objects for XR Communication
- arxiv url: http://arxiv.org/abs/2410.07119v1
- Date: Wed, 9 Oct 2024 17:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 22:17:22.796335
- Title: Thing2Reality: Transforming 2D Content into Conditioned Multiviews and 3D Gaussian Objects for XR Communication
- Title（参考訳）: Thing2Reality:XR通信のための2次元コンテンツを条件付きマルチビューと3次元ガウスオブジェクトに変換する
- Authors: Erzhen Hu, Mingyi Li, Jungtaek Hong, Xun Qian, Alex Olwal, David Kim, Seongkook Heo, Ruofei Du,
- Abstract要約: リモートコミュニケーションの間、参加者は製品デザイン、デジタル資産、環境など、デジタルコンテンツと物理的コンテンツの両方を共有します。
我々は,デジタルおよび物理アイテムの自発的な議論を促進する,拡張現実(XR)コミュニケーションプラットフォームThing2Realityを提案する。
本研究により,物体の3次元表現を操作・操作できる能力は,議論の効率を著しく向上させることが明らかとなった。
- 参考スコア（独自算出の注目度）: 29.051341502575198
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: During remote communication, participants often share both digital and physical content, such as product designs, digital assets, and environments, to enhance mutual understanding. Recent advances in augmented communication have facilitated users to swiftly create and share digital 2D copies of physical objects from video feeds into a shared space. However, conventional 2D representations of digital objects restricts users' ability to spatially reference items in a shared immersive environment. To address this, we propose Thing2Reality, an Extended Reality (XR) communication platform that enhances spontaneous discussions of both digital and physical items during remote sessions. With Thing2Reality, users can quickly materialize ideas or physical objects in immersive environments and share them as conditioned multiview renderings or 3D Gaussians. Thing2Reality enables users to interact with remote objects or discuss concepts in a collaborative manner. Our user study revealed that the ability to interact with and manipulate 3D representations of objects significantly enhances the efficiency of discussions, with the potential to augment discussion of 2D artifacts.
- Abstract（参考訳）: リモートコミュニケーションの間、参加者は相互理解を高めるために、製品デザイン、デジタル資産、環境など、デジタルコンテンツと物理的コンテンツの両方を共有します。
近年の拡張現実の進歩により、ユーザはビデオフィードから共有空間に物理的オブジェクトのデジタル2Dコピーを素早く作成、共有できるようになった。
しかし、従来のデジタルオブジェクトの2D表現は、共有没入環境において、ユーザが空間的にアイテムを参照する能力を制限している。
そこで本稿では,遠隔セッションにおけるデジタルと物理の両方の自発的な議論を促進する,拡張現実(XR)コミュニケーションプラットフォームであるThing2Realityを提案する。
Thing2Realityを使えば、ユーザは、没入的な環境でアイデアや物理的なオブジェクトを迅速に実体化し、それらを条件付きマルチビューレンダリングや3Dガウシアンとして共有できる。
Thing2Realityは、リモートオブジェクトと対話したり、コンセプトを協調的に議論することを可能にする。
本研究により,物体の3次元表現と相互作用し操作する能力は,議論の効率を著しく向上させるとともに,2次元アーティファクトの議論を増大させる可能性が示唆された。
関連論文リスト
- Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI [10.335943413484815]
拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。
本稿では,意味的知識と言語的知識を幾何学的表現と一体化する多モード3Dオブジェクト表現を提案する。
提案システムの有用性を,Magic Leap 2上の2つの実世界のARアプリケーションを用いて実証する:a) 自然言語を用いた物理環境における空間探索,b) 時間とともにオブジェクトの変化を追跡するインテリジェントなインベントリシステム。
論文 参考訳（メタデータ） (2024-10-06T23:25:21Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - Augmented Object Intelligence with XR-Objects [18.574032913387573]
本稿では,デジタルと物理の境界線を曖昧にすることを目的としたインタラクションパラダイムであるXRの文脈において,人工知能について検討する。
我々は,オープンソースのプロトタイプシステムであるXR-Objectsの形で,AOIの概念を実装した。
このシステムにより、アナログオブジェクトは情報を伝えるだけでなく、詳細を問い合わせたりタスクを実行するといったデジタルアクションを開始することができる。
論文 参考訳（メタデータ） (2024-04-20T05:14:52Z) - ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative
Modeling of Human-Object Interactions [11.32229757116179]
そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。
ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
論文 参考訳（メタデータ） (2024-01-18T18:59:58Z) - MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in
3D World [55.878173953175356]
マルチ感覚を具現化した大規模言語モデルであるMultiPLYを提案する。
まず,500kデータからなる大規模マルチセンサインタラクションデータセットであるMultisensory Universeを収集する。
我々は,MultiPLYが多種多様な実施タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2024-01-16T18:59:45Z) - Synthesizing Physically Plausible Human Motions in 3D Scenes [41.1310197485928]
物理的にシミュレートされたキャラクタが,多様で散らばった,見えない場面で長時間のインタラクションタスクを実行できるフレームワークを提案する。
具体的には、InterConには2つの補完的なポリシーが含まれており、文字が対話状態に入り、去ることができる。
異なる場所でのオブジェクトとのインタラクションを生成するために,3Dシーンの自由空間において文字の動きを保ち続けるために,ポリシーに従う軌道であるNavConをさらに設計する。
論文 参考訳（メタデータ） (2023-08-17T15:17:49Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic
Perception, Reconstruction and Generation [107.71752592196138]
OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。
190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。
それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
論文 参考訳（メタデータ） (2023-01-18T18:14:18Z) - Szloca: towards a framework for full 3D tracking through a single camera
in context of interactive arts [1.0878040851638]
本研究は、オブジェクト/人のデータと仮想表現を得るための新しい方法と枠組みを提案する。
このモデルはコンピュータビジョンシステムの複雑な訓練には依存せず、コンピュータビジョンの研究とz深度を表現する能力が組み合わさっている。
論文 参考訳（メタデータ） (2022-06-26T20:09:47Z) - ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and
Tactile Representations [52.226947570070784]
両課題に対処する100のオブジェクトからなるデータセットであるObjectを,2つの重要なイノベーションで紹介する。
まず、オブジェクトは視覚的、聴覚的、触覚的なすべてのオブジェクトの知覚データをエンコードし、多数の多感覚オブジェクト認識タスクを可能にする。
第2に、Objectは統一されたオブジェクト中心のシミュレーションと、各オブジェクトの視覚的テクスチャ、触覚的読み出し、触覚的読み出しに暗黙的な表現を採用しており、データセットの使用が柔軟で共有が容易である。
論文 参考訳（メタデータ） (2021-09-16T14:00:59Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。