論文の概要: Wav2CLIP: Learning Robust Audio Representations From CLIP

• arxiv url: http://arxiv.org/abs/2110.11499v1
• Date: Thu, 21 Oct 2021 22:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 15:58:08.057902
• Title: Wav2CLIP: Learning Robust Audio Representations From CLIP
• Title（参考訳）: Wav2CLIP: CLIPからロバストなオーディオ表現を学ぶ
• Authors: Ho-Hsiang Wu, Prem Seetharaman, Kundan Kumar, Juan Pablo Bello
• Abstract要約: コントラスト言語-画像事前学習(CLIP)から抽出した頑健な音声表現学習手法であるWav2CLIPを提案する。 We show that Wav2CLIP can beperforming several public available pre-trained audio representation algorithm。 私たちのコードとモデルの重み付けはオープンソースで、さらなるアプリケーションで利用できます。
• 参考スコア（独自算出の注目度）: 22.32567376976564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Wav2CLIP, a robust audio representation learning method by distilling from Contrastive Language-Image Pre-training (CLIP). We systematically evaluate Wav2CLIP on a variety of audio tasks including classification, retrieval, and generation, and show that Wav2CLIP can outperform several publicly available pre-trained audio representation algorithms. Wav2CLIP projects audio into a shared embedding space with images and text, which enables multimodal applications such as zero-shot classification, and cross-modal retrieval. Furthermore, Wav2CLIP needs just ~10% of the data to achieve competitive performance on downstream tasks compared with fully supervised models, and is more efficient to pre-train than competing methods as it does not require learning a visual model in concert with an auditory model. Finally, we demonstrate image generation from Wav2CLIP as qualitative assessment of the shared embedding space. Our code and model weights are open sourced and made available for further applications.
• Abstract（参考訳）: 本稿では,コントラスト言語-画像事前学習(CLIP)から抽出した頑健な音声表現学習手法であるWav2CLIPを提案する。 我々は、分類、検索、生成を含む様々な音声タスクにおいて、Wav2CLIPを体系的に評価し、Wav2CLIPが複数の公開学習済みオーディオ表現アルゴリズムより優れていることを示す。 Wav2CLIPは、音声を画像とテキストで共有埋め込み空間に投影し、ゼロショット分類やクロスモーダル検索などのマルチモーダルアプリケーションを可能にする。 さらに、Wav2CLIPは、完全に教師されたモデルと比較して下流タスクの競合性能を達成するために、データの約10%しか必要とせず、聴覚モデルと協調して視覚モデルを学ぶ必要がないため、競合する手法よりも事前訓練が効果的である。 最後に,Wav2CLIPの画像生成を,共有埋め込み空間の質的評価として示す。 私たちのコードとモデルの重み付けはオープンソースで、さらなるアプリケーションで利用できます。

関連論文リスト

• From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation [17.95017332858846]
  本稿では,視覚表現学習と視覚音声生成のギャップを埋める新しいフレームワークであるVision to Audio and Beyond(VAB)を紹介する。 VABは、事前訓練されたオーディオトークンライザと画像エンコーダを使用して、それぞれ音声トークンと視覚的特徴を取得する。 実験では,ビデオから高品質な音声を生成するためのVABの効率と,セマンティック・オーディオ・視覚的特徴を習得する能力について紹介した。
  論文  参考訳（メタデータ） (2024-09-27T20:26:34Z)
• Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
  本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。 本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。 本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T13:39:37Z)
• VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection [58.47940430618352]
  弱教師付きビデオ異常検出(WSVAD)のための新しいパラダイムであるVadCLIPを提案する。 VadCLIPは、CLIPの強度に関する視覚と言語の間のきめ細かい関連をフル活用している。 本稿では,VadCLIPが粗粒度および細粒度 WSVAD の両面において最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-08-22T14:58:36Z)
• AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes [6.375996974877916]
  離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。 以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2023-08-14T15:47:25Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• New Audio Representations Image Gan Generation from BriVL [0.0]
  本稿では,Briging-Vision-and-Language(BriVL)に基づくロバストな音声表現学習手法を提案する。 WavBriVLは、音声、画像、テキストを共有埋め込み空間に投影し、マルチモーダルアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-03-08T13:58:55Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
  CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder) 我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
  論文  参考訳（メタデータ） (2022-10-02T07:29:57Z)
• A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification [64.59834310846516]
  音声視覚シーン分類(AVSC)のためのシステム性能を改善するために,共同モデリングとデータ拡張という2つの手法を提案する。 最終システムはDCASE 2021 Task 1bに送信された全AVSCシステムの中で94.2%の精度を達成できる。
  論文  参考訳（メタデータ） (2022-03-07T07:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。