論文の概要: Structured Pattern Expansion with Diffusion Models
- arxiv url: http://arxiv.org/abs/2411.08930v1
- Date: Tue, 12 Nov 2024 18:39:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:23:53.535942
- Title: Structured Pattern Expansion with Diffusion Models
- Title（参考訳）: 拡散モデルによる構造パターン展開
- Authors: Marzia Riso, Giuseppe Vecchio, Fabio Pellacini,
- Abstract要約: 拡散モデルの最近の進歩は、材料、テクスチャ、および3次元形状の合成を著しく改善した。
本稿では、拡散モデルが一般に信頼性が低く、より重要なことに、制御不能な構造的定常パターンの合成に対処する。
これにより、ユーザは入力の構造と詳細を保存しながら、部分的に手書きのパターンをより大きなデザインに拡張することで、合成を直接制御することができる。
- 参考スコア（独自算出の注目度）: 6.726377308248659
- License:
- Abstract: Recent advances in diffusion models have significantly improved the synthesis of materials, textures, and 3D shapes. By conditioning these models via text or images, users can guide the generation, reducing the time required to create digital assets. In this paper, we address the synthesis of structured, stationary patterns, where diffusion models are generally less reliable and, more importantly, less controllable. Our approach leverages the generative capabilities of diffusion models specifically adapted for the pattern domain. It enables users to exercise direct control over the synthesis by expanding a partially hand-drawn pattern into a larger design while preserving the structure and details of the input. To enhance pattern quality, we fine-tune an image-pretrained diffusion model on structured patterns using Low-Rank Adaptation (LoRA), apply a noise rolling technique to ensure tileability, and utilize a patch-based approach to facilitate the generation of large-scale assets. We demonstrate the effectiveness of our method through a comprehensive set of experiments, showing that it outperforms existing models in generating diverse, consistent patterns that respond directly to user input.
- Abstract（参考訳）: 拡散モデルの最近の進歩は、材料、テクスチャ、および3次元形状の合成を著しく改善した。
これらのモデルをテキストや画像で条件付けすることで、ユーザーは生成をガイドし、デジタル資産を作成するのに必要な時間を短縮することができる。
本稿では、拡散モデルが一般に信頼性が低く、より重要なことに、制御不能な構造的定常パターンの合成に対処する。
本手法は,パターン領域に特化して適応した拡散モデルの生成能力を活用する。
これにより、ユーザは入力の構造と詳細を保存しながら、部分的に手書きのパターンをより大きなデザインに拡張することで、合成を直接制御することができる。
パターン品質を向上させるため,Low-Rank Adaptation (LoRA) を用いた構造パターン上の画像予測拡散モデルを微調整し,タイル性を確保するためにノイズローリング技術を適用し,大規模資産の生成を容易にするパッチベースのアプローチを利用する。
提案手法の有効性を総合的な実験により実証し,ユーザ入力に直接応答する多様で一貫したパターンの生成において,既存モデルよりも優れていることを示す。
関連論文リスト
- Inducing Semi-Structured Sparsity by Masking for Efficient Model Inference in Convolutional Networks [0.0]
本稿では,コンボリューションカーネルの半構造化空間パターンをマスキング形式で学習する手法を提案する。
この手法はモデル性能を低下させることなく、推論中に2倍以上の畳み込みモデルを加速する。
論文 参考訳（メタデータ） (2024-11-01T00:53:33Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2024-02-15T18:59:18Z) - SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。
このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。
エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
論文 参考訳（メタデータ） (2023-11-29T18:53:34Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - Conditional Generation from Unconditional Diffusion Models using
Denoiser Representations [94.04631421741986]
本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。
提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
論文 参考訳（メタデータ） (2023-06-02T20:09:57Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳（メタデータ） (2023-02-22T18:48:46Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。
近年,拡散モデルの性能向上への熱意が高まっている。
論文 参考訳（メタデータ） (2022-09-02T02:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。