論文の概要: SLayR: Scene Layout Generation with Rectified Flow

• arxiv url: http://arxiv.org/abs/2412.05003v1
• Date: Fri, 06 Dec 2024 12:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:04.764327
• Title: SLayR: Scene Layout Generation with Rectified Flow
• Title（参考訳）: SLayR: 整流によるシーンレイアウト生成
• Authors: Cameron Braunstein, Hevra Petekkaya, Jan Eric Lenssen, Mariya Toneva, Eddy Ilg,
• Abstract要約: SLayRはトークン空間上のレイアウト生成のための新しい変圧器ベースの整流モデルを提案する。 生成した画像の確立されたメトリクスが、その基盤となるシーンレイアウトを評価するために決定的でないことを示す。 従来より多種多様あるいは可算性に優れていた研究とは対照的に,本手法は両軸の両面において同時に良好に機能することを示す。
• 参考スコア（独自算出の注目度）: 10.449737374910619
• License:
• Abstract: We introduce SLayR, Scene Layout Generation with Rectified flow. State-of-the-art text-to-image models achieve impressive results. However, they generate images end-to-end, exposing no fine-grained control over the process. SLayR presents a novel transformer-based rectified flow model for layout generation over a token space that can be decoded into bounding boxes and corresponding labels, which can then be transformed into images using existing models. We show that established metrics for generated images are inconclusive for evaluating their underlying scene layout, and introduce a new benchmark suite, including a carefully designed repeatable human-evaluation procedure that assesses the plausibility and variety of generated layouts. In contrast to previous works, which perform well in either high variety or plausibility, we show that our approach performs well on both of these axes at the same time. It is also at least 5x times smaller in the number of parameters and 37% faster than the baselines. Our complete text-to-image pipeline demonstrates the added benefits of an interpretable and editable intermediate representation.
• Abstract（参考訳）: 本稿ではSLayR, Scene Layout Generation with Rectified Flowを紹介する。 最先端のテキスト画像モデルは印象的な結果をもたらす。 しかし、彼らは画像をエンドツーエンドに生成し、プロセスのきめ細かい制御を露出しない。 SLayRは、トークン空間上のレイアウト生成のための新しいトランスフォーマーベースの整流モデルを示し、境界ボックスや対応するラベルにデコードして、既存のモデルを使ってイメージに変換することができる。 生成された画像の確立されたメトリクスは、その基盤となるシーンレイアウトを評価するために決定的ではないことを示し、慎重に設計された再現可能なヒューマン評価手順を含む新しいベンチマークスイートを導入し、生成したレイアウトの妥当性と多様性を評価する。 従来より多種多様あるいは可算性に優れていた研究とは対照的に,本手法は両軸の両面において同時に良好に機能することを示す。 また、パラメータの数は少なくとも5倍小さく、ベースラインよりも37%高速である。 私たちの完全なテキスト・ツー・イメージパイプラインは、解釈可能で編集可能な中間表現の追加的な利点を示しています。

関連論文リスト

• DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
  拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。 本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:24:44Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation [147.81509219686419]
  本研究では,空間制御の4つの分野(数,位置,サイズ,形状)について,レイアウト誘導画像生成のための診断ベンチマークを提案する。 次に,新しいベースラインであるIterInpaintを提案する。 本研究はIterInpaintに関する総合的アブレーション研究である。
  論文  参考訳（メタデータ） (2023-04-13T16:58:33Z)
• LayoutDiffuse: Adapting Foundational Diffusion Models for Layout-to-Image Generation [24.694298869398033]
  提案手法は,高い知覚品質とレイアウトアライメントの両面から画像を生成し,効率よく訓練する。 提案手法は, GAN, VQ-VAE, 拡散モデルに基づく他の10種類の生成モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-02-16T14:20:25Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。