論文の概要: Content-aware Tile Generation using Exterior Boundary Inpainting
- arxiv url: http://arxiv.org/abs/2409.14184v1
- Date: Sat, 21 Sep 2024 16:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:48:26.019053
- Title: Content-aware Tile Generation using Exterior Boundary Inpainting
- Title（参考訳）: 外界塗布によるコンテンツ認識タイル生成
- Authors: Sam Sartor, Pieter Peers,
- Abstract要約: 本稿では,タイル状画像集合を生成するための新しいフレキシブルな学習手法を提案する。
画像からパッチを明示的にコピーすることで、コンテンツから構造を分離する。
異なるタイリング方式におけるコンテンツ認識タイル生成手法の柔軟性と有効性を示す。
- 参考スコア（独自算出の注目度）: 3.3090362820994526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel and flexible learning-based method for generating tileable image sets. Our method goes beyond simple self-tiling, supporting sets of mutually tileable images that exhibit a high degree of diversity. To promote diversity we decouple structure from content by foregoing explicit copying of patches from an exemplar image. Instead we leverage the prior knowledge of natural images and textures embedded in large-scale pretrained diffusion models to guide tile generation constrained by exterior boundary conditions and a text prompt to specify the content. By carefully designing and selecting the exterior boundary conditions, we can reformulate the tile generation process as an inpainting problem, allowing us to directly employ existing diffusion-based inpainting models without the need to retrain a model on a custom training set. We demonstrate the flexibility and efficacy of our content-aware tile generation method on different tiling schemes, such as Wang tiles, from only a text prompt. Furthermore, we introduce a novel Dual Wang tiling scheme that provides greater texture continuity and diversity than existing Wang tile variants.
- Abstract（参考訳）: 本稿では,タイル状画像集合を生成するための新しいフレキシブルな学習手法を提案する。
提案手法は,高度に多様性を示す相互タイル型画像の集合をサポートする,単純な自己タイル化を超越した手法である。
異質な画像からのパッチの明示的なコピーを前もって、コンテンツから構造を分離する。
代わりに、大規模な事前学習拡散モデルに埋め込まれた自然画像やテクスチャの事前知識を活用して、外界条件に制約されたタイル生成と、その内容を特定するためのテキストプロンプトを導出する。
外部境界条件を慎重に設計し,選択することにより,タイル生成過程を塗装問題として再設計し,既存の拡散型塗装モデルをカスタムトレーニングセットでモデルを再トレーニングすることなく直接使用することができる。
テキストプロンプトのみから, Wang tiles などの異なるタイリング方式におけるコンテンツ対応タイル生成手法の柔軟性と有効性を示す。
さらに,既存の Wang タイル変種よりもテクスチャの連続性と多様性を向上する新しい Dual Wang タイリング方式を提案する。
関連論文リスト
- Training-Free Sketch-Guided Diffusion with Latent Optimization [22.94468603089249]
本稿では,既存のテキスト・画像生成モデルを拡張してスケッチを付加条件として組み込む,革新的なトレーニングフリーパイプラインを提案する。
入力スケッチによく似たレイアウトと構造を持つ新しい画像を生成するために,これらのスケッチの中核となる特徴を拡散モデルのクロスアテンションマップを用いて追跡できることを見出した。
本稿では, 生成過程の中間段階において, 雑音に富んだ遅延を洗練させる手法である潜時最適化を導入する。
論文 参考訳（メタデータ） (2024-08-31T00:44:03Z) - Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。
本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
論文 参考訳（メタデータ） (2024-07-10T19:58:04Z) - Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。
提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-09T08:11:53Z) - Obtaining Favorable Layouts for Multiple Object Generation [50.616875565173274]
大規模なテキスト・ツー・イメージモデルでは、テキスト・プロンプトに基づいて高品質で多様な画像を生成することができる。
しかし、既存の最先端拡散モデルでは、複数の被写体を含む画像を生成する際に困難に直面している。
誘導原理に基づく新しい手法を提案し、拡散モデルが最初にレイアウトを提案し、次にレイアウトグリッドを並べ替えることを可能にする。
これは、提案したマスクに固執するようにクロスアテンションマップ(XAM)を強制し、潜在マップから私たちによって決定された新しい場所へピクセルを移動させることによって達成される。
論文 参考訳（メタデータ） (2024-05-01T18:07:48Z) - Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳（メタデータ） (2024-02-05T18:42:34Z) - Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image
Personalization [56.12990759116612]
Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。
提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
論文 参考訳（メタデータ） (2024-01-30T05:56:12Z) - Retinex-guided Channel-grouping based Patch Swap for Arbitrary Style
Transfer [54.25418866649519]
パッチマッチングベースのスタイル転送の基本原理は、コンテンツ画像特徴マップのパッチを、スタイル画像特徴マップから最も近いパッチで置き換えることである。
既存の手法では、全チャネルスタイルの特徴パッチを単純な信号テンソルとして扱い、信号レベル融合による新しいスタイルの特徴パッチを作成する。
本稿では、上記の課題を解決するために、チャネルグループベースのパッチスワップスワップ技術であるRetinex理論を提案する。
論文 参考訳（メタデータ） (2023-09-19T11:13:56Z) - Composite Diffusion | whole >= \Sigma parts [0.0]
本稿では,サブシーンからの合成により,アーティストが高品質な画像を生成する手段として,複合拡散を導入する。
サブシーンの生成, 構成, 調和の代替手段を可能にする, 複合拡散の包括的かつモジュラーな方法を提案する。
論文 参考訳（メタデータ） (2023-07-25T17:58:43Z) - ProSpect: Prompt Spectrum for Attribute-Aware Personalization of
Diffusion Models [77.03361270726944]
現在のパーソナライズ手法は、オブジェクトや概念をテキスト条件空間に反転させ、テキストから画像への拡散モデルのための新しい自然文を構成することができる。
本稿では,低周波情報から高周波画像を生成する拡散モデルのステップバイステップ生成プロセスを活用する新しい手法を提案する。
ProSpectは、画像誘導やテキスト駆動による材料、スタイル、レイアウトの操作など、パーソナライズされた属性認識画像生成アプリケーションに適用する。
論文 参考訳（メタデータ） (2023-05-25T16:32:01Z) - Towards Controllable and Photorealistic Region-wise Image Manipulation [11.601157452472714]
地域ごとのスタイル操作のための自動エンコーダアーキテクチャを用いた生成モデルを提案する。
我々は、コンテンツとスタイルの潜在表現の明示的な乱れを強制するために、コード一貫性の損失を適用します。
このモデルは、前景編集が背景コンテンツに干渉しないように、コンテンツアライメント損失によって制約される。
論文 参考訳（メタデータ） (2021-08-19T13:29:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。