論文の概要: Cartoondiff: Training-free Cartoon Image Generation with Diffusion Transformer Models

• arxiv url: http://arxiv.org/abs/2309.08251v1
• Date: Fri, 15 Sep 2023 08:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 15:24:59.482117
• Title: Cartoondiff: Training-free Cartoon Image Generation with Diffusion Transformer Models
• Title（参考訳）: cartoondiff:拡散トランスフォーマーモデルを用いたトレーニングフリーマンガ画像生成
• Authors: Feihong He, Gang Li, Lingyu Si, Leilei Yan, Shimeng Hou, Hongwei Dong, Fanzhang Li
• Abstract要約: 拡散変圧器モデルを用いて画像のマンガ化を生成する新しいトレーニングフリーサンプリング手法であるCartoonDiffを提案する。 本研究では,ノイズ画像の高周波信号を特定の聴覚ステップで正規化することにより,画像のマンガ化を実現する。
• 参考スコア（独自算出の注目度）: 5.830731563895666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image cartoonization has attracted significant interest in the field of image generation. However, most of the existing image cartoonization techniques require re-training models using images of cartoon style. In this paper, we present CartoonDiff, a novel training-free sampling approach which generates image cartoonization using diffusion transformer models. Specifically, we decompose the reverse process of diffusion models into the semantic generation phase and the detail generation phase. Furthermore, we implement the image cartoonization process by normalizing high-frequency signal of the noisy image in specific denoising steps. CartoonDiff doesn't require any additional reference images, complex model designs, or the tedious adjustment of multiple parameters. Extensive experimental results show the powerful ability of our CartoonDiff. The project page is available at: https://cartoondiff.github.io/
• Abstract（参考訳）: 画像の漫画化は画像生成の分野で大きな関心を集めている。 しかし、既存の画像漫画化技術の多くは、漫画スタイルの画像を用いた再学習モデルを必要とする。 本稿では,拡散トランスフォーマーモデルを用いた画像マンガライゼーションを生成する,新しいトレーニングフリーサンプリング手法であるcartoondiffを提案する。 具体的には,拡散モデルの逆過程を意味生成フェーズと詳細生成フェーズに分解する。 さらに,ノイズ画像の高周波信号を特定段階で正規化することにより,画像のマンガ化処理を実現する。 cartoondiffは、追加の参照画像、複雑なモデル設計、複数のパラメータの面倒な調整を必要としない。 広範な実験結果から,CartoonDiffの強力な能力が確認された。 プロジェクトページは、https://cartoondiff.github.io/で入手できる。

関連論文リスト

• Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
  実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。 本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
  論文  参考訳（メタデータ） (2024-11-17T17:45:37Z)
• Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models [73.34674816016211]
  Edify Imageは、ピクセル完全精度でフォトリアリスティックな画像コンテンツを生成することができる拡散モデルのファミリーである。 Edify Imageはテキスト・ツー・イメージ合成、4Kアップサンプリング、コントロールネット、360 HDRパノラマ生成、画像カスタマイズのための微調整など幅広いアプリケーションをサポートしている。
  論文  参考訳（メタデータ） (2024-11-11T16:58:31Z)
• DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation [46.5013105017258]
  拡散モデルは、徐々に入力にノイズを加えるマルコフ過程を認知することによって訓練される。 自動回帰(AR)と拡散を非マルコフフレームワーク内で統一するトランスフォーマーモデルであるDARTを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:41:54Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
  画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。 本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。 モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
  論文  参考訳（メタデータ） (2024-03-07T16:18:28Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• Instance-guided Cartoon Editing with a Large-scale Dataset [12.955181769243232]
  本稿では,画像中の文字に対する高精度なセグメンテーションマスクを生成するインスタンス認識画像セグメンテーションモデルを提案する。 提案手法は,3D Ken Burns のパララックス効果,テキスト誘導の漫画スタイルの編集,イラストやマンガからの人形アニメーションなど,セグメンテーションに依存した漫画編集の応用を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T15:00:15Z)
• A Method for Training-free Person Image Picture Generation [4.043367784553845]
  本稿では,キャラクタ画像の特徴モデルを提案する。 これにより、ユーザーは文字の画像を簡単に提供して、生成された画像中の文字の画像と期待値とを一致させることで、プロセスを利用することができる。 提案モデルは, モデルを変更したり, 継手モデルとして使用したりすることなく, 安定拡散生成プロセスに簡便に組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-16T21:46:28Z)
• Null-text Guidance in Diffusion Models is Secretly a Cartoon-style Creator [20.329795810937206]
  拡散モデルにおけるヌルテキストガイダンスは、秘かに漫画スタイルのクリエーターである。 本稿では,Null-text ガイダンスとテキストガイダンスの予測に使用されるノイズの多い画像間の不一致を構築するために,ロールバック障害 (Back-D) とイメージ障害 (Image-D) の2つの外乱手法を提案する。 Back-Dは、$x_t$を$x_t+Delta t$に置き換えることで、nullテキストノイズ画像のノイズレベルを変更することで、漫画化を実現する
  論文  参考訳（メタデータ） (2023-05-11T10:36:52Z)
• Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization [20.578335938736384]
  マンガ・テクスチュア・サリエンシ・サンプラー (CTSS) モジュールを提案し, トレーニングデータからマンガ・テクスチュア・サリエントパッチを動的にサンプリングする。 大規模な実験により,画像のマンガ化を促進・強化する上で,テクスチャ・サリエンシー適応型学習が重要であることを示す。
  論文  参考訳（メタデータ） (2022-08-02T16:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。