論文の概要: 3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows
- arxiv url: http://arxiv.org/abs/2210.11603v1
- Date: Thu, 20 Oct 2022 21:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 14:16:21.841148
- Title: 3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows
- Title(参考訳): 3DALL-E:3Dデザインワークフローにおけるテキストと画像のAIの統合
- Authors: Vivian Liu, Jo Vermeulen, George Fitzmaurice, Justin Matejka
- Abstract要約: 3DALL-Eは、ユーザーがモデリングしたものに基づいてテキストと画像のプロンプトを構築することができるプラグインである。
13人のデザイナーによる研究で、デザイナーは3DALL-Eを自身の伝記に取り入れ、テキストから画像までのAIを参考画像、レンダリング、素材、デザインの考慮に利用する大きな可能性を見出した。
我々は3DALL-Eが既存の生成設計とどのように統合できるかについて議論し、人間-AI設計史の一形態としてプロンプトを提案する。
- 参考スコア(独自算出の注目度): 8.591083124761926
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Text-to-image AI systems are capable of generating novel images for
inspiration, but their applications for 3D design workflows and how designers
can build 3D models using AI-provided inspiration is less understood. To
investigate this, we integrated DALL-E, GPT-3, and CLIP within a CAD software
in 3DALL-E, a plugin that allows users to construct text and image prompts
based on what they are modelling. In a study with 13 designers, we found that
designers saw great potential to incorporate 3DALL-E into their workflows and
to use text-to-image AI for reference images, renders, materials, and design
considerations. Additionally, we elaborate on prompting patterns and provide
measures of prompt complexity observed across participants. We conclude on a
discussion of how 3DALL-E can merge with existing generative design workflows
and propose prompt bibliographies as a form of human-AI design history.
- Abstract(参考訳): テキストから画像までのAIシステムは、インスピレーションのために新しいイメージを生成することができるが、3Dデザインワークフローや、AIが提供するインスピレーションを使ってデザイナが3Dモデルを構築する方法はあまり理解されていない。
そこで我々は3DALL-EのCADソフトウェアにDALL-E, GPT-3, CLIPを統合した。
13人のデザイナーによる研究で、デザイナーは3dall-eをワークフローに取り入れ、テキストから画像へのaiを参照画像、レンダリング、素材、デザインの考慮に利用する大きな可能性を見出しました。
さらに,プロンプトパターンを詳述し,参加者間で観察される素早い複雑性の尺度を提供する。
我々は,3DALL-Eが既存の生成設計ワークフローとどのように統合できるかを議論し,人間-AI設計史の一形態として書誌学の推進を提案する。
関連論文リスト
- Make-A-Character: High Quality Text-to-3D Character Generation within
Minutes [28.30067870250642]
本研究では,テキスト記述から3Dアバターを作成するために,Make-A-Character (Mach) というユーザフレンドリーなフレームワークを提案する。
制御可能で現実的で、完全に実現された3Dキャラクタを2分以内で作成するための直感的なアプローチを提供する。
論文 参考訳(メタデータ) (2023-12-24T08:11:39Z) - Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。
2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。
合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文 参考訳(メタデータ) (2023-11-09T15:50:32Z) - 3D-GPT: Procedural 3D Modeling with Large Language Models [50.57513088909881]
命令駆動3Dモデリングのための大規模言語モデル(LLM)を利用するフレームワークである3D-GPTを紹介する。
3D-GPTは、3Dモデリングタスクをアクセス可能なセグメントに分割し、各タスクにアプエージェントを割り当てる。
我々の実証調査では、3D-GPTが解釈し、指示を実行し、信頼性の高い結果を提供するだけでなく、人間デザイナーと効果的に協力することを確認した。
論文 参考訳(メタデータ) (2023-10-19T17:41:48Z) - Digital Modeling for Everyone: Exploring How Novices Approach
Voice-Based 3D Modeling [0.0]
音声に基づく3Dモデリングにおける初級精神モデルについて,22名の被験者を対象に,オズ研究の高忠実度ウィザードを用いて検討した。
我々は音声アシスタントの設計上の意味を結論づける。
例えば、曖昧で不完全で間違ったコマンドを扱うこと、単純で複合的なオブジェクトを形作るための単純なコマンドセットを提供すること、そして3Dオブジェクトを選択するための異なる戦略を提供することである。
論文 参考訳(メタデータ) (2023-07-10T11:03:32Z) - Multi-CLIP: Contrastive Vision-Language Pre-training for Question
Answering tasks in 3D Scenes [68.61199623705096]
一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。
そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
論文 参考訳(メタデータ) (2023-06-04T11:08:53Z) - CLIP-Guided Vision-Language Pre-training for Question Answering in 3D
Scenes [68.61199623705096]
我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。
符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。
我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
論文 参考訳(メタデータ) (2023-04-12T16:52:29Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳(メタデータ) (2023-02-14T06:28:42Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。