論文の概要: SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending
- arxiv url: http://arxiv.org/abs/2409.13926v1
- Date: Fri, 20 Sep 2024 22:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 04:28:44.149200
- Title: SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending
- Title（参考訳）: SpaceBlender:3Dシーンのブレンディングでコンテキストリッチなコラボレーションスペースを作る
- Authors: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson,
- Abstract要約: ユーザが提供する2Dイメージを,コンテキストに富んだ3D環境に変換するパイプラインであるSpaceBlenderを紹介する。
参加者はSpaceBlenderが提供する親しみやすさとコンテキストを高く評価したが、生成環境の複雑さは注目された。
そこで我々は,パイプライン改善の方向性を提案し,異なるシナリオに対するブレンド空間の価値と設計について議論する。
- 参考スコア（独自算出の注目度）: 19.06858242647237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.
- Abstract（参考訳）: 生成AIを使用して仮想現実(VR)アプリケーションのための3D空間を作成することへの関心が高まっている。
しかし、今日のモデルでは、ユーザの物理的なコンテキストを取り入れることの恩恵を受ける共同作業のサポートが不足している、人工環境が生み出されている。
VRテレプレゼンスをサポートする環境を生成するために,生成AI技術を利用してユーザの物理的環境を統合された仮想空間にブレンドする,新しいパイプラインであるSpaceBlenderを導入する。
このパイプラインは、ユーザが提供する2D画像を、深さ推定、メッシュアライメント、幾何学的な先行と適応的なテキストプロンプトによってガイドされた拡散ベースの空間補完からなる反復的なプロセスを通じて、コンテキストに富んだ3D環境に変換する。
20人の参加者がペアで協調的なVR親和性ダイアグラムタスクを行った予備研究において、SpaceBlenderを汎用的な仮想環境と最先端のシーン生成フレームワークと比較し、コラボレーションに適した仮想空間を作成する能力を評価した。
参加者はSpaceBlenderが提供する親しみやすさとコンテキストを高く評価しただけでなく、タスクの焦点から逸脱する可能性のある生成環境における複雑さにも言及した。
参加者からのフィードバックに基づいて,パイプラインの改善と混合空間の価値と設計について議論する。
関連論文リスト
- Social Conjuring: Multi-User Runtime Collaboration with AI in Building Virtual 3D Worlds [3.5152339192019113]
Social Conjurerは、AIによる動的3Dシーンの共同作成のためのフレームワークである。
本稿では,AIモデルを3次元コンテンツ生成に組み込んだヒューマン中心インタフェースの設計における意味について述べる。
論文 参考訳（メタデータ） (2024-09-30T23:02:51Z) - Grounding 3D Scene Affordance From Egocentric Interactions [52.5827242925951]
接地型3Dシーンアベイランスは、3D環境におけるインタラクティブな領域を見つけることを目的としている。
我々は,エゴセントリックなインタラクションから3Dシーンの空き時間を確保するという,新しい課題を紹介した。
論文 参考訳（メタデータ） (2024-09-29T10:46:19Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments [13.988804095409133]
本研究では,実世界のシーン,オブジェクト,部屋のレイアウトを取り入れたReALFREDベンチマークを提案する。
具体的には、視覚領域のギャップを小さくした環境空間を更新したALFREDベンチマークを拡張する。
ReALFREDでは、以前作られたALFREDベンチマークのメソッドを分析し、すべてのメトリクスで一貫して低いパフォーマンスが得られることを観察する。
論文 参考訳（メタデータ） (2024-07-26T07:00:27Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z) - BlendScape: Enabling End-User Customization of Video-Conferencing Environments through Generative AI [19.06858242647237]
BlendScapeは、ビデオ会議参加者がミーティングコンテキストに合わせて環境を調整するためのレンダリングとコンポジションシステムである。
BlendScapeは、ユーザの物理的背景とデジタル背景を統合された環境にブレンドすることで、タスク空間の柔軟な表現をサポートする。
論文 参考訳（メタデータ） (2024-03-20T19:41:05Z) - VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。
私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
論文 参考訳（メタデータ） (2024-01-30T01:28:36Z) - Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。
無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。
我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
論文 参考訳（メタデータ） (2023-12-18T13:51:56Z) - Evaluating Continual Learning Algorithms by Generating 3D Virtual
Environments [66.83839051693695]
連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。
本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。
本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
論文 参考訳（メタデータ） (2021-09-16T10:37:21Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳（メタデータ） (2020-12-05T02:14:17Z) - SceneGen: Generative Contextual Scene Augmentation using Scene Graph
Priors [3.1969855247377827]
SceneGenは、既存のシーン内の仮想オブジェクトの位置と方向を予測する、生成的コンテキスト拡張フレームワークである。
SceneGenはセグメンテーションされたシーンを入力として、仮想コンテンツを置くための位置と向きの確率マップを出力する。
オブジェクト, オブジェクト群, 部屋間の明確な位相特性をカプセル化した空間的シーングラフ表現を定式化する。
そこで本研究では,オブジェクトをリアルタイムに拡張可能な拡張現実アプリケーションを開発した。
論文 参考訳（メタデータ） (2020-09-25T18:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。