論文の概要: V2A-Mapper: A Lightweight Solution for Vision-to-Audio Generation by Connecting Foundation Models

• arxiv url: http://arxiv.org/abs/2308.09300v4
• Date: Thu, 14 Dec 2023 00:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 11:57:18.108965
• Title: V2A-Mapper: A Lightweight Solution for Vision-to-Audio Generation by Connecting Foundation Models
• Title（参考訳）: v2a-mapper:基盤モデル接続による視覚-聴覚生成のための軽量ソリューション
• Authors: Heng Wang, Jianbo Ma, Santiago Pascual, Richard Cartwright, Weidong Cai
• Abstract要約: 基礎モデル(FM)の上に人工知能システムを構築することは、AI研究の新たなパラダイムになりつつある。 本稿では,基礎モデル,特にCLIP,CLAP,AudioLDMを活用することで,この問題に対する軽量な解決策を提案する。 提案手法では,V2A-Mapperを高速に訓練し,高忠実で視覚的に整合した音を生成する。
• 参考スコア（独自算出の注目度）: 14.538853403226751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building artificial intelligence (AI) systems on top of a set of foundation models (FMs) is becoming a new paradigm in AI research. Their representative and generative abilities learnt from vast amounts of data can be easily adapted and transferred to a wide range of downstream tasks without extra training from scratch. However, leveraging FMs in cross-modal generation remains under-researched when audio modality is involved. On the other hand, automatically generating semantically-relevant sound from visual input is an important problem in cross-modal generation studies. To solve this vision-to-audio (V2A) generation problem, existing methods tend to design and build complex systems from scratch using modestly sized datasets. In this paper, we propose a lightweight solution to this problem by leveraging foundation models, specifically CLIP, CLAP, and AudioLDM. We first investigate the domain gap between the latent space of the visual CLIP and the auditory CLAP models. Then we propose a simple yet effective mapper mechanism (V2A-Mapper) to bridge the domain gap by translating the visual input between CLIP and CLAP spaces. Conditioned on the translated CLAP embedding, pretrained audio generative FM AudioLDM is adopted to produce high-fidelity and visually-aligned sound. Compared to previous approaches, our method only requires a quick training of the V2A-Mapper. We further analyze and conduct extensive experiments on the choice of the V2A-Mapper and show that a generative mapper is better at fidelity and variability (FD) while a regression mapper is slightly better at relevance (CS). Both objective and subjective evaluation on two V2A datasets demonstrate the superiority of our proposed method compared to current state-of-the-art approaches - trained with 86% fewer parameters but achieving 53% and 19% improvement in FD and CS, respectively.
• Abstract（参考訳）: 基礎モデル(FM)の上に人工知能(AI)システムを構築することは、AI研究における新たなパラダイムになりつつある。 膨大なデータから学習した代表的および生成能力は、スクラッチから余分なトレーニングをすることなく、容易に適応し、幅広い下流タスクに移行することができる。 しかし、音声モダリティが関与する場合、クロスモーダル生成におけるFMの活用は未検討のままである。 一方,視覚入力から意味的関連音を自動生成することは,モーダル・ジェネレーション研究において重要な課題である。 このvision-to-audio(v2a)生成問題を解決するために、既存の手法では、小さなデータセットを使って複雑なシステムをスクラッチから設計し構築する傾向がある。 本稿では,基礎モデル,特にCLIP,CLAP,AudioLDMを活用することで,この問題に対する軽量な解決策を提案する。 まず視覚的CLIPの潜在空間と聴覚的CLAPモデルとの領域ギャップについて検討する。 次に,CLIP と CLAP 空間間の視覚的入力を変換することで,領域ギャップを埋めるシンプルなマッパー機構 (V2A-Mapper) を提案する。 変換されたCLAP埋め込みを条件に、事前訓練された音声生成FM AudioLDMを採用し、高忠実で視覚的に整合した音を生成する。 従来の手法と比較して,本手法ではV2A-Mapperの迅速な訓練しか必要としない。 さらに、V2A-Mapperの選択に関する広範な実験を行い、生成マッパーが忠実度と可変性(FD)に優れ、レグレッションマッパーが相対性(CS)に若干優れていることを示す。 2つのV2Aデータセットの客観的評価と主観評価は、現在の最先端手法と比較して、提案手法の優位性を示し、パラメータは86%少なく、FDとCSは53%、CSは19%改善した。

関連論文リスト

• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Aligning Large Multimodal Models with Factually Augmented RLHF [176.54751941088819]
  大規模マルチモーダルモデル(LMM)はモダリティにまたがって構築され、2つのモダリティ間のミスアライメントは「ハロシン化」をもたらす。 テキスト領域から視覚言語アライメントのタスクまで,RLHF(Reinforcement Learning from Human Feedback)を適応させる。 本稿では、報酬モデルに付加的な事実情報を追加するFactually Augmented RLHFという新しいアライメントアルゴリズムを提案する。 提案手法は,テキストのみのGPT-4の性能レベルが94%であるLLaVA-Benchデータセットにおいて,顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-09-25T20:59:33Z)
• HAVE-Net: Hallucinated Audio-Visual Embeddings for Few-Shot Classification with Unimodal Cues [19.800985243540797]
  閉鎖性、クラス内変異、照明等は、一方向RS視覚入力を用いたニューラルネットワークのトレーニング中に生じる可能性がある。 そこで本稿では,Halucinated Audio-Visual Embeddings-Network (HAVE-Net) という,限られた単調データからメタトレインのクロスモーダルな特徴を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-23T20:05:00Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• A Light Weight Model for Active Speaker Detection [7.253335671577093]
  入力候補を減らし、2次元と3次元の畳み込みを音声・視覚特徴抽出に分割し、計算量が少ないゲート再帰ユニット(GRU)をクロスモーダルモデリングに応用し、軽量な能動話者検出アーキテクチャを構築した。 AVA-ActiveSpeakerデータセットの実験結果は、我々のフレームワークが競合的なmAP性能(94.1%対94.2%)を達成することを示している。 私たちのフレームワークは、良好な堅牢性を示すColumbiaデータセットでもうまく機能します。
  論文  参考訳（メタデータ） (2023-03-08T08:40:56Z)
• Complete Cross-triplet Loss in Label Space for Audio-visual Cross-modal Retrieval [7.459223771397159]
  クロスモーダルデータ(例えばオーディオヴィジュアル)は直接比較できない分布と表現が異なる。 オーディオ・ヴィジュアルデータの自然な同期における内在的相関をアノテートされたラベルの助けを借りることで、オーディオ・ヴィジュアル・モダリティ間のギャップを埋めるため、それらの共通部分空間を学習する。 ラベルを直接予測して意味的特徴を最適化する新しいAV-CMRモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-07T10:37:14Z)
• Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network [58.82343017711883]
  そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。 GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。 第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
  論文  参考訳（メタデータ） (2022-07-29T09:29:28Z)
• Audio-Visual Decision Fusion for WFST-based and seq2seq Models [3.2771898634434997]
  雑音下では、音声認識システムは高い単語誤り率(WER)に悩まされる 提案手法は,推測時における音声と視覚のモダリティから情報を融合する新しい手法である。 提案手法は音響のみのWERよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-01-29T13:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。