論文の概要: AudioCLIP: Extending CLIP to Image, Text and Audio

• arxiv url: http://arxiv.org/abs/2106.13043v1
• Date: Thu, 24 Jun 2021 14:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 14:50:25.818656
• Title: AudioCLIP: Extending CLIP to Image, Text and Audio
• Title（参考訳）: AudioCLIP:CLIPを画像、テキスト、オーディオに拡張
• Authors: Andrey Guzhov, Federico Raue, J\"orn Hees, Andreas Dengel
• Abstract要約: テキストや画像に加えて音声を扱うCLIPモデルの拡張を提案する。 提案モデルでは,AudioSetデータセットを用いてESResNeXtオーディオモデルをCLIPフレームワークに組み込む。 環境音分類(ESC)タスクにおいて,AudioCLIPは新たな最先端結果を実現する。
• 参考スコア（独自算出の注目度）: 6.585049648605185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the past, the rapidly evolving field of sound classification greatly benefited from the application of methods from other domains. Today, we observe the trend to fuse domain-specific tasks and approaches together, which provides the community with new outstanding models. In this work, we present an extension of the CLIP model that handles audio in addition to text and images. Our proposed model incorporates the ESResNeXt audio-model into the CLIP framework using the AudioSet dataset. Such a combination enables the proposed model to perform bimodal and unimodal classification and querying, while keeping CLIP's ability to generalize to unseen datasets in a zero-shot inference fashion. AudioCLIP achieves new state-of-the-art results in the Environmental Sound Classification (ESC) task, out-performing other approaches by reaching accuracies of 90.07% on the UrbanSound8K and 97.15% on the ESC-50 datasets. Further it sets new baselines in the zero-shot ESC-task on the same datasets 68.78% and 69.40%, respectively). Finally, we also assess the cross-modal querying performance of the proposed model as well as the influence of full and partial training on the results. For the sake of reproducibility, our code is published.
• Abstract（参考訳）: 過去には、音の分類の急速な発展は、他の領域からの手法の適用から大きな恩恵を受けている。 今日、我々はドメイン固有のタスクとアプローチを融合する傾向を観察し、コミュニティに新しい優れたモデルを提供する。 本稿では,テキストや画像に加えて音声を扱うCLIPモデルの拡張について述べる。 提案モデルでは,AudioSetデータセットを用いてESResNeXtオーディオモデルをCLIPフレームワークに組み込む。 このような組み合わせにより、提案モデルでは、ゼロショット推論方式で見えないデータセットに一般化するCLIPの能力を保ちながら、バイモーダルとアンモダルの分類とクエリを行うことができる。 AudioCLIPは、環境音分類(ESC)タスクにおいて、UrbanSound8Kで90.07%、ESC-50データセットで97.15%の精度で、他のアプローチよりも優れた、新しい最先端結果を達成する。 さらに、同じデータセットで0ショットのESCタスクにそれぞれ68.78%と69.40%の新しいベースラインを設定する。 最後に,提案モデルのクロスモーダルクエリ性能と,完全および部分的トレーニングが結果に与える影響についても評価した。 再現性のため、私たちのコードは公開されます。

関連論文リスト

• Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark [65.79402756995084]
  Real Acoustic Fields (RAF)は、複数のモードから実際の音響室データをキャプチャする新しいデータセットである。 RAFは密集した室内音響データを提供する最初のデータセットである。
  論文  参考訳（メタデータ） (2024-03-27T17:59:56Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models [92.92233932921741]
  AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。 我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。 我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
  論文  参考訳（メタデータ） (2023-09-19T17:35:16Z)
• Self-Supervised Visual Acoustic Matching [63.492168778869726]
  音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。 そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。 提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
  論文  参考訳（メタデータ） (2023-07-27T17:59:59Z)
• SCRAPS: Speech Contrastive Representations of Acoustic and Phonetic Spaces [10.895310812568084]
  音声空間と音響空間の共有表現を学習するために,CLIPに基づくモデルを訓練する。 その結果,提案手法は音素変化に敏感であることが示唆された。 その結果,様々な下流アプリケーションにおいて,埋め込みが有用であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2023-07-23T22:18:47Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification [64.59834310846516]
  音声視覚シーン分類(AVSC)のためのシステム性能を改善するために,共同モデリングとデータ拡張という2つの手法を提案する。 最終システムはDCASE 2021 Task 1bに送信された全AVSCシステムの中で94.2%の精度を達成できる。
  論文  参考訳（メタデータ） (2022-03-07T07:29:55Z)
• SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification [0.6767885381740952]
  SoundCLRは、最先端の性能を持つ効果的な環境音分類のための教師付きコントラスト学習手法である。 利用可能な環境音のデータセットのサイズが比較的小さいため、転送学習と強力なデータ拡張パイプラインを提案し、活用する。 実験の結果,log-melスペクトルを用いたマスキングによる拡張技術により,認識性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-03-02T18:42:45Z)
• PSLA: Improving Audio Event Classification with Pretraining, Sampling, Labeling, and Aggregation [19.09439093130855]
  PSLAは,モデルの精度を著しく向上させる訓練手法の集合である。 我々は,AudioSet上で0.474の新たな平均精度(mAP)を実現するモデルを得る。
  論文  参考訳（メタデータ） (2021-02-02T01:00:38Z)
• ESResNet: Environmental Sound Classification Based on Visual Domain Models [4.266320191208303]
  単音とステレオ音の入力に本質的に適合するモデルを提案する。 本稿では,ドメイン間の事前トレーニング,アーキテクチャ変更の影響について検討し,そのモデルが標準データセットに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-15T19:07:55Z)
• Acoustic Scene Classification Using Bilinear Pooling on Time-liked and Frequency-liked Convolution Neural Network [4.131608702779222]
  本稿では、高調波とパーカッシブ音源分離(HPSS)を用いて、音声を高調波とパーカッシブ音源に分割する方法について検討する。 これら2つのCNNから抽出された深い特徴は、双線形プールによって結合される。 このモデルはDCASE 2019サブタスク1aデータセットで評価されており、開発データセットで平均65%のスコアを得ている。
  論文  参考訳（メタデータ） (2020-02-14T04:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。