論文の概要: DALLE-URBAN: Capturing the urban design expertise of large text to image transformers

• arxiv url: http://arxiv.org/abs/2208.04139v1
• Date: Wed, 3 Aug 2022 04:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-14 18:13:52.935616
• Title: DALLE-URBAN: Capturing the urban design expertise of large text to image transformers
• Title（参考訳）: dalle-urban: 大きなテキストから画像トランスフォーマーまでの都市デザインの専門知識をとらえる
• Authors: Sachith Seneviratne, Damith Senanayake, Sanka Rasnayaka, Rajith Vidanaarachchi and Jason Thompson
• Abstract要約: システム文法を用いて構築された環境に関するクエリを生成し,生成した画像を評価する。 我々は1020の異なる画像を生成し、テキストから画像への変換が、異なる領域にまたがって現実的な画像を生成するのに堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically converting text descriptions into images using transformer architectures has recently received considerable attention. Such advances have implications for many applied design disciplines across fashion, art, architecture, urban planning, landscape design and the future tools available to such disciplines. However, a detailed analysis capturing the capabilities of such models, specifically with a focus on the built environment, has not been performed to date. In this work, we investigate the capabilities and biases of such text-to-image methods as it applies to the built environment in detail. We use a systematic grammar to generate queries related to the built environment and evaluate resulting generated images. We generate 1020 different images and find that text to image transformers are robust at generating realistic images across different domains for this use-case. Generated imagery can be found at the github: https://github.com/sachith500/DALLEURBAN
• Abstract（参考訳）: トランスフォーマーアーキテクチャを用いたテキスト記述の自動変換が注目されている。 このような進歩は、ファッション、芸術、建築、都市計画、ランドスケープデザイン、そしてそのような分野に利用できる将来のツールなど、多くの応用設計分野に影響を及ぼす。 しかし、これらのモデルの能力、特に構築された環境に焦点を当てた詳細な分析は、これまで行われていない。 本研究では,構築された環境に適用できるようなテキストから画像への手法の能力やバイアスについて詳細に検討する。 システム文法を用いて構築された環境に関するクエリを生成し,生成した画像を評価する。 我々は1020の異なる画像を生成し、テキストから画像への変換が、このユースケースのために異なる領域にわたる現実的な画像を生成するのに堅牢であることを示す。 生成した画像はgithub.com/sachith500/DALLEURBANで見ることができる。

関連論文リスト

• PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions [66.92809850624118]
  PixWizardは、画像生成、操作、翻訳を自由言語命令に基づいて行うために設計されたイメージ・ツー・イメージのビジュアルアシスタントである。 我々は、様々な視覚タスクを統一された画像テキスト・画像生成フレームワークに取り組み、Omni Pixel-to-Pixel Instruction-Tuningデータセットをキュレートする。 我々の実験は、PixWizardが様々な解像度の画像に対して印象的な生成能力と理解能力を示すだけでなく、目に見えないタスクや人間の指示で有望な一般化能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:46Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval [68.61855682218298]
  クロスモーダル検索法では、画像とテキストの異なるアーキテクチャを持つ2ストリームエンコーダを用いる。 視覚タスクにおけるトランスフォーマーの最近の進歩に触発されて,トランスフォーマーとエンコーダアーキテクチャを両モードで統一することを提案する。 我々は、画像変換器、テキスト変換器、階層アライメントモジュールからなる2ストリーム変換器(textbfHierarchical Alignment Transformers, HAT)を純粋にベースとしたクロスモーダル検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-08T15:43:59Z)
• GlyphDraw: Seamlessly Rendering Text with Intricate Spatial Structures in Text-to-Image Generation [18.396131717250793]
  GlyphDrawは、画像生成モデルに特定の言語に対して、テキストにコヒーレントに埋め込まれた画像を生成する能力を持たせることを目的とした、一般的な学習フレームワークである。 提案手法は,プロンプトのように正確な言語文字を生成するだけでなく,生成したテキストを背景にシームレスにブレンドする。
  論文  参考訳（メタデータ） (2023-03-31T08:06:33Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• GIT: A Generative Image-to-text Transformer for Vision and Language [138.91581326369837]
  我々は、画像/映像キャプションや質問応答などの視覚言語タスクを統合するために、生成画像からテキストへ変換するGITを訓練する。 われわれのモデルはTextCaps(CIDErで138.2対125.5)で初めて人間のパフォーマンスを上回った。
  論文  参考訳（メタデータ） (2022-05-27T17:03:38Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Unifying Multimodal Transformer for Bi-directional Image and Text Generation [8.547205551848462]
  本研究では,自然な双方向タスクである画像・テキスト・テキスト・画像世代の共同学習について検討する。 双方向タスクを共同で研究するために,単一のマルチモーダルモデルに基づく統合画像・テキスト生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T06:01:24Z)
• Vit-GAN: Image-to-image Translation with Vision Transformes and Conditional GANS [0.0]
  本稿では,画像から画像への変換処理のほとんどを可能にする汎用アーキテクチャであるVit-Ganを開発した。 得られた結果は、一般的に使用されるアーキテクチャよりも現実的であることが観察された。
  論文  参考訳（メタデータ） (2021-10-11T18:09:16Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Image Captioning through Image Transformer [29.91581534937757]
  変形符号化変換器と暗黙復号変換器からなるtextbftextitimage transformer を導入する。 本モデルでは,MSCOCOのオフラインおよびオンラインテストベンチマークにおいて,最新の性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。