論文の概要: GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation
- arxiv url: http://arxiv.org/abs/2303.10056v2
- Date: Thu, 2 Nov 2023 15:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 18:11:23.272182
- Title: GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation
- Title（参考訳）: GlueGen: X-to-image 生成のためのプラグインとマルチモーダルエンコーダ
- Authors: Can Qin, Ning Yu, Chen Xing, Shu Zhang, Zeyuan Chen, Stefano Ermon,
Yun Fu, Caiming Xiong, Ran Xu
- Abstract要約: 拡散過程に基づくテキスト・ツー・イメージ(T2I)モデルは,ユーザが提供するキャプションを用いた制御可能な画像生成において顕著な成功を収めた。
現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合により、置き換えやアップグレードが困難になる。
本稿では,新しいGlueNetモデルを適用したGlueGenを提案する。
- 参考スコア（独自算出の注目度）: 143.81719619351335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image (T2I) models based on diffusion processes have achieved
remarkable success in controllable image generation using user-provided
captions. However, the tight coupling between the current text encoder and
image decoder in T2I models makes it challenging to replace or upgrade. Such
changes often require massive fine-tuning or even training from scratch with
the prohibitive expense. To address this problem, we propose GlueGen, which
applies a newly proposed GlueNet model to align features from single-modal or
multi-modal encoders with the latent space of an existing T2I model. The
approach introduces a new training objective that leverages parallel corpora to
align the representation spaces of different encoders. Empirical results show
that GlueNet can be trained efficiently and enables various capabilities beyond
previous state-of-the-art models: 1) multilingual language models such as
XLM-Roberta can be aligned with existing T2I models, allowing for the
generation of high-quality images from captions beyond English; 2) GlueNet can
align multi-modal encoders such as AudioCLIP with the Stable Diffusion model,
enabling sound-to-image generation; 3) it can also upgrade the current text
encoder of the latent diffusion model for challenging case generation. By the
alignment of various feature representations, the GlueNet allows for flexible
and efficient integration of new functionality into existing T2I models and
sheds light on X-to-image (X2I) generation.
- Abstract（参考訳）: 拡散過程に基づくテキスト・ツー・イメージ(t2i)モデルは,ユーザ提供キャプションを用いた制御可能な画像生成において大きな成功を収めている。
しかし、現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合は、置き換えやアップグレードを困難にしている。
このような変更は、しばしば大規模な微調整や、禁止費用をゼロからトレーニングすることさえ必要となる。
そこで本研究では,t2iモデルの潜在空間とシングルモーダルまたはマルチモーダルエンコーダの特徴を整合させるために,新たに提案するgluenetモデルを適用したgluegenを提案する。
このアプローチでは、並列コーパスを活用して異なるエンコーダの表現空間を調整する、新たなトレーニング目標が導入されている。
実験の結果、gluenetは効率的にトレーニングでき、以前の最先端モデルを超えて様々な機能を可能にする。
1) XLM-Roberta のような多言語言語モデルは,既存の T2I モデルと整合し,英語以外のキャプションから高品質な画像を生成することができる。
2)GlueNetは,AudioCLIPなどのマルチモーダルエンコーダを安定拡散モデルに整合させ,音像生成を可能にする。
3) 潜在拡散モデルの現在のテキストエンコーダをアップグレードしてケース生成に挑戦することもできる。
様々な特徴表現のアラインメントにより、gluenetは、新しい機能を既存のt2iモデルに柔軟かつ効率的な統合を可能にし、x-to-image (x2i) 生成に光を当てる。
関連論文リスト
- Kandinsky 3: Text-to-Image Synthesis for Multifunctional Generative Framework [3.7953598825170753]
カンディンスキー3は潜伏拡散に基づく新しいT2Iモデルであり、高い品質と光リアリズムを達成する。
各種アプリケーションのためのベースT2Iモデルを拡張し,多機能生成システムを構築する。
人による評価では、Kandinsky 3はオープンソース生成システムの中で最高品質のスコアの1つを示している。
論文 参考訳（メタデータ） (2024-10-28T14:22:08Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [112.44822009714461]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation [19.65838242227773]
本稿では,大規模テキスト・ツー・イメージ(T2I)拡散モデルとイメージ・ツー・イメージ(I2I)パラダイムをプラグ・アンド・プレイ方式で適用する,新しい,簡潔かつ効率的なアプローチを提案する。
本手法は,周波数帯域のタイプや帯域幅を調整するだけで,参照画像の導出係数と導出強度の両方を柔軟に制御できる。
論文 参考訳（メタデータ） (2024-08-02T04:13:38Z) - Mini-DALLE3: Interactive Text to Image by Prompting Large Language
Models [71.49054220807983]
一般的な制限は、自然言語記述を用いた安定拡散のようなT2Iモデルとの効果的な通信に持続する。
最近リリースされたDALLE3に触発されて、人間の意図を一致させ、新しいタスク、インタラクティブテキスト・トゥ・イメージ(iT2I)を導入すべく、既存のT2Iシステムを再考した。
我々は,iT2I の LLM を補助的手法と既製の T2I モデルで拡張する簡単な手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T16:53:40Z) - Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。
本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文 参考訳（メタデータ） (2023-05-26T19:22:03Z) - BLIP-Diffusion: Pre-trained Subject Representation for Controllable
Text-to-Image Generation and Editing [73.74570290836152]
BLIP-Diffusionはマルチモーダル制御をサポートする新しい主観駆動画像生成モデルである。
他の主観駆動生成モデルとは異なり、BLIP-Diffusionは主観表現を提供するために事前訓練された新しいマルチモーダルエンコーダを導入する。
論文 参考訳（メタデータ） (2023-05-24T04:51:04Z) - LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image
Diffusion Models with Large Language Models [62.75006608940132]
本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。
提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。
提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
論文 参考訳（メタデータ） (2023-05-23T03:59:06Z) - Tune-A-Video: One-Shot Tuning of Image Diffusion Models for
Text-to-Video Generation [31.882356164068753]
テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。
そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
論文 参考訳（メタデータ） (2022-12-22T09:43:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。