論文の概要: SceneTeller: Language-to-3D Scene Generation

• arxiv url: http://arxiv.org/abs/2407.20727v1
• Date: Tue, 30 Jul 2024 10:45:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:30:03.458916
• Title: SceneTeller: Language-to-3D Scene Generation
• Title（参考訳）: SceneTeller:Language-to-3D Scene Generation
• Authors: Başak Melis Öcal, Maxim Tatarchenko, Sezer Karaoglu, Theo Gevers,
• Abstract要約: 本手法では,室内の物体配置を自然言語で記述し,それに対応する高品質な3Dシーンを生成する。 私たちのターンキーパイプラインは最先端の3Dシーンを生成しますが、初心者でも簡単に使用できます。
• 参考スコア（独自算出の注目度）: 15.209079637302905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing high-quality indoor 3D scenes is important in many practical applications, such as room planning or game development. Conventionally, this has been a time-consuming process which requires both artistic skill and familiarity with professional software, making it hardly accessible for layman users. However, recent advances in generative AI have established solid foundation for democratizing 3D design. In this paper, we propose a pioneering approach for text-based 3D room design. Given a prompt in natural language describing the object placement in the room, our method produces a high-quality 3D scene corresponding to it. With an additional text prompt the users can change the appearance of the entire scene or of individual objects in it. Built using in-context learning, CAD model retrieval and 3D-Gaussian-Splatting-based stylization, our turnkey pipeline produces state-of-the-art 3D scenes, while being easy to use even for novices. Our project page is available at https://sceneteller.github.io/.
• Abstract（参考訳）: 室内の高品質な3Dシーンを設計することは、部屋の計画やゲーム開発といった多くの実践的応用において重要である。 従来、これは芸術的スキルとプロのソフトウェアに精通することの両方を必要とする時間を要するプロセスだった。 しかし、近年のジェネレーティブAIの進歩は、3Dデザインを民主化するための強固な基盤を確立している。 本稿では,テキストベースの3次元空間設計における先駆的アプローチを提案する。 本手法では,室内の物体配置を自然言語で記述し,それに対応する高品質な3Dシーンを生成する。 追加のテキストプロンプトで、ユーザーはシーン全体や個々のオブジェクトの外観を変更することができる。 In-context Learning, CADモデル検索, 3D-Gaussian-Splattingベースのスタイリングによって構築された我々のターンキーパイプラインは, 初心者でも使いやすく, 最先端の3Dシーンを生成する。 私たちのプロジェクトページはhttps://sceneteller.github.io/で公開されています。

関連論文リスト

• Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint [61.25279122171029]
  テキストプロンプトから制御可能で構成可能な3D生成が可能なフレームワークを提案する。 提案手法は2次元レイアウトを青写真として活用し,3次元生成の精密かつ確実な制御を容易にする。
  論文  参考訳（メタデータ） (2024-10-20T13:41:50Z)
• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
  CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。 Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。 その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-09T13:24:42Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes [56.727745047799246]
  3Dシーンの理解は幅広い用途で注目されている。 本稿では,事前学習した3次元表現の3次元視覚的知覚能力と,高度なLCMの印象的な推論と会話能力を組み合わせたChat-3Dを提案する。
  論文  参考訳（メタデータ） (2023-08-17T03:52:15Z)
• Aladdin: Zero-Shot Hallucination of Stylized 3D Assets from Abstract Scene Descriptions [0.19116784879310023]
  本稿では,短いフレーズで記述した3Dシーンのためのスタイリングされたアセットを生成するシステムを提案する。 限られたデータで訓練された伝統的な方法が、3Dアーティストにとってより創造的な自由ではないように、オープンワールドの概念は堅牢である。
  論文  参考訳（メタデータ） (2023-06-09T19:24:39Z)
• CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes [68.61199623705096]
  我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。 符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。 我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
  論文  参考訳（メタデータ） (2023-04-12T16:52:29Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。