論文の概要: Align, Adapt and Inject: Sound-guided Unified Image Generation

• arxiv url: http://arxiv.org/abs/2306.11504v1
• Date: Tue, 20 Jun 2023 12:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 14:26:11.789915
• Title: Align, Adapt and Inject: Sound-guided Unified Image Generation
• Title（参考訳）: アライメント・アダプティブ・インジェクション:音誘導統一画像生成
• Authors: Yue Yang, Kaipeng Zhang, Yuying Ge, Wenqi Shao, Zeyue Xue, Yu Qiao, Ping Luo
• Abstract要約: 本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。 本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 提案するAAIは、他のテキストや音声誘導方式よりも優れています。
• 参考スコア（独自算出の注目度）: 50.34667929051005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-guided image generation has witnessed unprecedented progress due to the development of diffusion models. Beyond text and image, sound is a vital element within the sphere of human perception, offering vivid representations and naturally coinciding with corresponding scenes. Taking advantage of sound therefore presents a promising avenue for exploration within image generation research. However, the relationship between audio and image supervision remains significantly underdeveloped, and the scarcity of related, high-quality datasets brings further obstacles. In this paper, we propose a unified framework 'Align, Adapt, and Inject' (AAI) for sound-guided image generation, editing, and stylization. In particular, our method adapts input sound into a sound token, like an ordinary word, which can plug and play with existing powerful diffusion-based Text-to-Image (T2I) models. Specifically, we first train a multi-modal encoder to align audio representation with the pre-trained textual manifold and visual manifold, respectively. Then, we propose the audio adapter to adapt audio representation into an audio token enriched with specific semantics, which can be injected into a frozen T2I model flexibly. In this way, we are able to extract the dynamic information of varied sounds, while utilizing the formidable capability of existing T2I models to facilitate sound-guided image generation, editing, and stylization in a convenient and cost-effective manner. The experiment results confirm that our proposed AAI outperforms other text and sound-guided state-of-the-art methods. And our aligned multi-modal encoder is also competitive with other approaches in the audio-visual retrieval and audio-text retrieval tasks.
• Abstract（参考訳）: テキスト誘導画像生成は拡散モデルの開発により前例のない進歩をみせた。 テキストや画像以外にも、音は人間の知覚領域において重要な要素であり、鮮やかな表現を提供し、対応するシーンと自然に一致する。 そのため、音の活用は画像生成研究における探究に有望な道筋を示している。 しかし、音声と画像の監督の関係は未発達であり、関連する高品質データセットの不足はさらなる障害をもたらす。 本稿では、音声誘導画像生成、編集、スタイリングのための統合されたフレームワーク「Align, Adapt, and Inject」(AAI)を提案する。 特に,本手法では,従来の拡散型テキスト・トゥ・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 具体的には、まずマルチモーダルエンコーダを訓練し、音声表現を予め学習したテキスト多様体と視覚多様体に合わせる。 そこで本研究では,凍結したT2Iモデルに柔軟に注入可能な,特定のセマンティクスに富んだ音声トークンに音声表現を適応させるオーディオアダプタを提案する。 このようにして、既存のT2Iモデルの強大な能力を利用して、様々な音の動的情報を抽出し、音声誘導画像生成、編集、スタイリゼーションを便利かつ安価に行うことができる。 実験の結果,提案したAAIは,他のテキストや音声誘導手法よりも優れていることを確認した。 また,マルチモーダル・エンコーダは,音声・視覚検索や音声・テキスト検索における他の手法と競合する。

関連論文リスト

• SonicDiffusion: Audio-Driven Image Generation and Editing with Pretrained Diffusion Models [21.669044026456557]
  本稿では,大規模画像拡散モデルにおける音声条件設定を実現する手法を提案する。 音声条件付き画像生成に加えて,拡散に基づく編集手法との共役にも利用することができる。
  論文  参考訳（メタデータ） (2024-05-01T21:43:57Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• Generating Realistic Images from In-the-wild Sounds [2.531998650341267]
  そこで本研究では,Wild 音から画像を生成する新しい手法を提案する。 まず,音声キャプションを用いて音声をテキストに変換する。 第2に,音の豊かな特徴を表現し,その音を可視化するために,音声の注意と文の注意を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:36:40Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• Ada-TTA: Towards Adaptive High-Quality Text-to-Talking Avatar Synthesis [66.43223397997559]
  入力テキストに対応する高品質な音声ポートレート映像を合成することを目的としている。 この課題は、デジタルヒューマン産業における幅広い応用の見通しを持っているが、まだ技術的には達成されていない。 本稿では,Ada-TTA(Adaptive Text-to-Talking Avatar)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T08:50:13Z)
• Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment [22.912401512161132]
  我々は、各モデルコンポーネントの学習手順をスケジューリングして、オーディオ・視覚的モダリティを関連付けるモデルの設計を行う。 入力音声を視覚的特徴に変換し,事前学習した生成器を用いて画像を生成する。 VEGAS と VGGSound のデータセットは,従来の手法よりもかなりよい結果が得られる。
  論文  参考訳（メタデータ） (2023-03-30T16:01:50Z)
• Sound-Guided Semantic Image Manipulation [19.01823634838526]
  本稿では,音を直接マルチモーダル(画像テキスト)埋め込み空間にエンコードし,空間から画像を操作するフレームワークを提案する。 提案手法は,様々なモダリティ,すなわちテキストとオーディオを混合し,画像修正の多様性を高める。 ゼロショット音声分類とセマンティックレベルの画像分類の実験により,提案手法が他のテキストや音声誘導手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-30T13:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。