論文の概要: Towards Expressive and Faithful Audio-to-Image Generation: A Unified Multimodal Dataset and Synthesis Framework

• arxiv url: http://arxiv.org/abs/2608.09529v1
• Date: Mon, 10 Aug 2026 12:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.26097
• Title: Towards Expressive and Faithful Audio-to-Image Generation: A Unified Multimodal Dataset and Synthesis Framework
• Title（参考訳）: 表現的で忠実な音声画像生成に向けて:統一されたマルチモーダルデータセットと合成フレームワーク
• Abstract要約: A2Iはクロスモーダル生成の重要なサブフィールドであり、オーディオから画像の形で静的な視覚コンテンツを合成する。 既存の手法は、強力なT2Iモデルを微調整することで高品質な音声画像生成を実現するのに依然として苦労している。 このギャップに触発されたA2I-Setは,323K対の音声,画像,詳細なテキストキャプションからなる,統一的で高品質な3モーダルデータセットである。
• 参考スコア（独自算出の注目度）: 53.22462815623005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As an important subfield of cross-modal generation, synthesizing static visual content in the form of images from audio, namely audio-to-image (A2I) generation, has attracted increasing research attention in recent years. Nevertheless, despite the remarkable visual quality of modern text-to-image (T2I) models, the performance of A2I remains fundamentally limited by traditional datasets, which often lack both high-fidelity images and precise cross-modal alignment. As a result, existing methods still struggle to achieve high-quality audio-to-image generation through finetuning strong T2I models, thereby constraining practical applications in this area. Motivated by this gap, we introduce A2I-Set, a unified, high-quality tri-modal dataset consisting of 323K paired audio, images, and detailed text captions, specifically designed for audio-visual research, including audio-conditioned image generation. Besides, we developed a new mixed-source test set for the A2I task through human supervision. We further propose an A2I model, AudioCanvas, fine-tuned on our A2I-Set. Experiments show that AudioCanvas achieves more visually expressive as well as cross-modal alignment results that generally outperforming existing approaches. Our dataset and source code are available at https://github.com/gdx012/A2I-Generation.
• Abstract（参考訳）: クロスモーダル生成の重要なサブフィールドとして、オーディオから画像の形で静的な視覚コンテンツを合成するA2I(Audio-to-image)世代が近年注目されている。 しかしながら、現代のテキスト・トゥ・イメージ(T2I)モデルの目覚ましい品質にもかかわらず、A2Iの性能は従来型のデータセットに基本的に制限されている。 その結果、既存の手法は強力なT2Iモデルを微調整することで高品質な音声画像生成を実現するのに苦慮している。 このギャップに触発されたA2I-Setは、323K対のオーディオ、画像、詳細なテキストキャプションで構成され、オーディオコンディショニングされた画像生成を含むオーディオ視覚研究のために特別に設計された、統合された高品質な3モーダルデータセットである。 また,A2Iタスクのための人的監督による新しい混合ソーステストセットを開発した。 さらに,A2I-Setを微調整したA2IモデルであるAudioCanvasを提案する。 実験により、AudioCanvasはより視覚的に表現力があり、既存のアプローチよりも優れるクロスモーダルアライメント結果が得られることが示された。 データセットとソースコードはhttps://github.com/gdx012/A2I-Generation.comで公開されています。

関連論文リスト

• JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
  ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。 本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。 本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-22T12:44:28Z)
• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation [6.169364905804677]
  オーディオから画像への生成モデルの訓練には、意味的に整合した多様なオーディオと視覚のペアが多数必要である。 本稿では,様々な高品質で不整合なユニモーダル原点のインスタンスを人工的にペアリングできる,スケーラブルな画像ソリフィケーションフレームワークを提案する。 提案手法の有効性を示すため,本手法では,音素化画像を用いて,最先端技術に対して競争力のある音声画像生成モデルを訓練する。
  論文  参考訳（メタデータ） (2025-01-09T18:13:57Z)
• VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation [27.9571263633586]
  本稿では,VinTAGeについて紹介する。VinTAGeは,テキストと動画を共同で検討し,音声生成のガイドを行うフローベーストランスフォーマーモデルである。 私たちのフレームワークは、Visual-TextとJoint VT-SiTモデルという2つの重要なコンポーネントで構成されています。 VinTAGe-Benchは、636対のビデオテキストとオーディオのデータセットで、オンスクリーンとオフスクリーンの両方の音が含まれている。
  論文  参考訳（メタデータ） (2024-12-14T09:36:10Z)
• Text-to-Audio Generation Synchronized with Videos [44.848393652233796]
  我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。 また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。 ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
  論文  参考訳（メタデータ） (2024-03-08T22:27:38Z)
• Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
  本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。 本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 提案するAAIは、他のテキストや音声誘導方式よりも優れています。
  論文  参考訳（メタデータ） (2023-06-20T12:50:49Z)
• GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation [143.81719619351335]
  拡散過程に基づくテキスト・ツー・イメージ(T2I)モデルは,ユーザが提供するキャプションを用いた制御可能な画像生成において顕著な成功を収めた。 現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合により、置き換えやアップグレードが困難になる。 本稿では,新しいGlueNetモデルを適用したGlueGenを提案する。
  論文  参考訳（メタデータ） (2023-03-17T15:37:07Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。