論文の概要: Kandinsky 3: Text-to-Image Synthesis for Multifunctional Generative Framework

• arxiv url: http://arxiv.org/abs/2410.21061v1
• Date: Mon, 28 Oct 2024 14:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:47.068660
• Title: Kandinsky 3: Text-to-Image Synthesis for Multifunctional Generative Framework
• Title（参考訳）: Kandinsky 3: 多機能生成フレームワークのためのテキスト・画像合成
• Authors: Vladimir Arkhipkin, Viacheslav Vasilev, Andrei Filatov, Igor Pavlov, Julia Agafonova, Nikolai Gerasimenko, Anna Averchenkova, Evelina Mironova, Anton Bukashkin, Konstantin Kulikov, Andrey Kuznetsov, Denis Dimitrov,
• Abstract要約: カンディンスキー3は潜伏拡散に基づく新しいT2Iモデルであり、高い品質と光リアリズムを達成する。 各種アプリケーションのためのベースT2Iモデルを拡張し,多機能生成システムを構築する。 人による評価では、Kandinsky 3はオープンソース生成システムの中で最高品質のスコアの1つを示している。
• 参考スコア（独自算出の注目度）: 3.7953598825170753
• License:
• Abstract: Text-to-image (T2I) diffusion models are popular for introducing image manipulation methods, such as editing, image fusion, inpainting, etc. At the same time, image-to-video (I2V) and text-to-video (T2V) models are also built on top of T2I models. We present Kandinsky 3, a novel T2I model based on latent diffusion, achieving a high level of quality and photorealism. The key feature of the new architecture is the simplicity and efficiency of its adaptation for many types of generation tasks. We extend the base T2I model for various applications and create a multifunctional generation system that includes text-guided inpainting/outpainting, image fusion, text-image fusion, image variations generation, I2V and T2V generation. We also present a distilled version of the T2I model, evaluating inference in 4 steps of the reverse process without reducing image quality and 3 times faster than the base model. We deployed a user-friendly demo system in which all the features can be tested in the public domain. Additionally, we released the source code and checkpoints for the Kandinsky 3 and extended models. Human evaluations show that Kandinsky 3 demonstrates one of the highest quality scores among open source generation systems.
• Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)拡散モデルは、編集、画像融合、塗装などの画像操作手法を導入するのに人気がある。 同時に、イメージ・トゥ・ビデオ(I2V)とテキスト・トゥ・ビデオ(T2V)モデルもT2Iモデル上に構築されている。 我々は、潜伏拡散に基づく新しいT2Iモデルであるカンディンスキー3を提示し、高い品質と光リアリズムを実現する。 新しいアーキテクチャの主要な特徴は、多くの世代タスクへの適応の単純さと効率性である。 各種アプリケーション用ベースT2Iモデルを拡張し,テキスト誘導インペイント/アウトペイント,画像融合,テキスト画像融合,画像変化生成,I2VおよびT2V生成を含む多機能生成システムを構築する。 また, 逆工程の4段階における推論を, 画像品質を低下させることなく, ベースモデルよりも3倍高速に評価するT2Iモデルの蒸留版を提案する。 ユーザフレンドリーなデモシステムをデプロイし、すべての機能をパブリックドメインでテストできるようにしました。 さらに、Kandinsky 3と拡張モデルのソースコードとチェックポイントもリリースしました。 人による評価では、Kandinsky 3はオープンソース生成システムの中で最高品質のスコアの1つを示している。

関連論文リスト

• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation [22.699173137070883]
  Hunyuan3D-1.0はテキストおよび画像条件生成をサポートする2段階のアプローチである。 最初の段階では、約4秒で効率よくマルチビューRGBを生成するマルチビュー拡散モデルを用いる。 第2段階では、3Dアセットを迅速かつ忠実に再構築するフィードフォワード再構築モデルを導入する。 我々のフレームワークは、Hunyuan-DiTというテキスト・ツー・イメージ・モデルで、テキスト・コンディショニングとイメージ・コンディショニングの両方をサポートする統一的なフレームワークである。
  論文  参考訳（メタデータ） (2024-11-04T17:21:42Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• DreamDistribution: Prompt Distribution Learning for Text-to-Image Diffusion Models [53.17454737232668]
  本稿では,事前学習したT2I拡散モデルを用いて,ソフトプロンプトの集合を学習する解を提案する。 これらのプロンプトは、テキストガイドによる編集機能と、複数のディストリビューション間の変動と混合を制御する柔軟性を提供する。 また,テキスト・トゥ・3Dなどの他のタスクに対して,学習したプロンプト分布の適応性を示す。
  論文  参考訳（メタデータ） (2023-12-21T12:11:00Z)
• Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
  本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。 提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。 また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
  論文  参考訳（メタデータ） (2023-10-05T12:29:41Z)
• GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation [143.81719619351335]
  拡散過程に基づくテキスト・ツー・イメージ(T2I)モデルは,ユーザが提供するキャプションを用いた制御可能な画像生成において顕著な成功を収めた。 現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合により、置き換えやアップグレードが困難になる。 本稿では,新しいGlueNetモデルを適用したGlueGenを提案する。
  論文  参考訳（メタデータ） (2023-03-17T15:37:07Z)
• Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation [31.882356164068753]
  テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。 そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
  論文  参考訳（メタデータ） (2022-12-22T09:43:36Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。