論文の概要: MS2Mesh-XR: Multi-modal Sketch-to-Mesh Generation in XR Environments
- arxiv url: http://arxiv.org/abs/2412.09008v1
- Date: Thu, 12 Dec 2024 07:20:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:30:52.298549
- Title: MS2Mesh-XR: Multi-modal Sketch-to-Mesh Generation in XR Environments
- Title（参考訳）: MS2Mesh-XR:XR環境におけるマルチモーダルスケッチ・ツー・メシュ生成
- Authors: Yuqi Tong, Yue Qiu, Ruiyang Li, Shi Qiu, Pheng-Ann Heng,
- Abstract要約: MS2Mesh-XRは、マルチモーダルなスケッチ・ツー・メッシュ生成パイプラインである。
ユーザーは音声入力による手描きスケッチを使って、拡張現実環境でリアルな3Dオブジェクトを作成することができる。
- 参考スコア（独自算出の注目度）: 42.82972741852191
- License:
- Abstract: We present MS2Mesh-XR, a novel multi-modal sketch-to-mesh generation pipeline that enables users to create realistic 3D objects in extended reality (XR) environments using hand-drawn sketches assisted by voice inputs. In specific, users can intuitively sketch objects using natural hand movements in mid-air within a virtual environment. By integrating voice inputs, we devise ControlNet to infer realistic images based on the drawn sketches and interpreted text prompts. Users can then review and select their preferred image, which is subsequently reconstructed into a detailed 3D mesh using the Convolutional Reconstruction Model. In particular, our proposed pipeline can generate a high-quality 3D mesh in less than 20 seconds, allowing for immersive visualization and manipulation in run-time XR scenes. We demonstrate the practicability of our pipeline through two use cases in XR settings. By leveraging natural user inputs and cutting-edge generative AI capabilities, our approach can significantly facilitate XR-based creative production and enhance user experiences. Our code and demo will be available at: https://yueqiu0911.github.io/MS2Mesh-XR/
- Abstract（参考訳）: 提案するMS2Mesh-XRは,音声入力による手書きスケッチを用いて,拡張現実(XR)環境でリアルな3Dオブジェクトを作成可能な,マルチモーダルなスケッチ・ツー・メッシュ生成パイプラインである。
具体的には、仮想環境内の空中の自然な手の動きを使って、直感的にオブジェクトをスケッチすることができる。
音声入力を統合することにより、スケッチやテキストプロンプトに基づいてリアルなイメージを推測する制御ネットを考案する。
ユーザーは好みの画像をレビューして選択し、その後、畳み込み再構成モデルを使用して詳細な3Dメッシュに再構築することができる。
特に,提案したパイプラインは,20秒未満で高品質な3Dメッシュを生成し,実行時のXRシーンにおける没入型可視化と操作を可能にする。
XR設定で2つのユースケースを通じてパイプラインの実践性を示す。
自然なユーザ入力と最先端の生成AI機能を活用することで、私たちのアプローチはXRベースの創造的生産を著しく促進し、ユーザエクスペリエンスを向上させることができます。
コードとデモは以下の通り。 https://yueqiu0911.github.io/MS2Mesh-XR/
関連論文リスト
- 3D$^2$-Actor: Learning Pose-Conditioned 3D-Aware Denoiser for Realistic Gaussian Avatar Modeling [37.11454674584874]
ポーズ条件付き3D対応ヒューマンモデリングパイプラインである3D$2$-Actorを導入する。
実験により、3D$2$-アクターは高忠実度アバターモデリングにおいて優れ、新しいポーズに頑健に一般化することを示した。
論文 参考訳（メタデータ） (2024-12-16T09:37:52Z) - SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。
提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
論文 参考訳（メタデータ） (2024-10-26T00:52:46Z) - Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。
本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-08T16:27:37Z) - iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。
我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。
私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
論文 参考訳（メタデータ） (2024-08-03T06:35:09Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
リアルな3Dメッシュを生成するための新しい手法を提案する。
この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
論文 参考訳（メタデータ） (2023-04-24T20:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。