論文の概要: EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning

• arxiv url: http://arxiv.org/abs/2401.17690v1
• Date: Wed, 31 Jan 2024 09:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:17:53.585849
• Title: EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
• Title（参考訳）: EnCLAP: 自動オーディオキャプションのためのニューラルオーディオコーデックとオーディオテキストジョイント埋め込みを組み合わせる
• Authors: Jaeyeon Kim, Jaeyoon Jung, Jinjoo Lee, Sang Hoon Woo
• Abstract要約: 本稿では,音声の自動字幕作成のための新しいフレームワークであるEnCLAPを提案する。 本稿では、EnCodecとCLAPという2つの音響表現モデルと、事前訓練された言語モデルBARTを用いる。 また,事前学習した言語モデルの音響的認識を改善するマスクドモデリングという新たな学習目標も導入する。
• 参考スコア（独自算出の注目度）: 5.093488222068705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose EnCLAP, a novel framework for automated audio captioning. EnCLAP employs two acoustic representation models, EnCodec and CLAP, along with a pretrained language model, BART. We also introduce a new training objective called masked codec modeling that improves acoustic awareness of the pretrained language model. Experimental results on AudioCaps and Clotho demonstrate that our model surpasses the performance of baseline models. Source code will be available at https://github.com/jaeyeonkim99/EnCLAP . An online demo is available at https://huggingface.co/spaces/enclap-team/enclap .
• Abstract（参考訳）: 本稿では,音声の自動字幕作成のための新しいフレームワークであるEnCLAPを提案する。 EnCLAPにはEnCodecとCLAPという2つの音響表現モデルと事前訓練された言語モデルBARTがある。 また,事前学習した言語モデルの音響的認識を改善するマスク付きコーデックモデリングという新たなトレーニング手法を導入する。 AudioCaps と Clotho の実験結果は,我々のモデルがベースラインモデルの性能を上回ることを示した。 ソースコードはhttps://github.com/jaeyeonkim99/EnCLAPで入手できる。 オンラインデモはhttps://huggingface.co/spaces/enclap-team/enclap で公開されている。

関連論文リスト

• Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
  本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。 本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。 本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T13:39:37Z)
• AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes [6.375996974877916]
  離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。 以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2023-08-14T15:47:25Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers [92.55131711064935]
  テキストから音声合成(TTS)のための言語モデリング手法を提案する。 具体的には、市販のニューラルオーディオモデルから派生した離散符号を用いて、ニューラルネットワークモデル(Vall-E)を訓練する。 Vall-Eは、コンテキスト内学習機能を導入し、高品質なパーソナライズされた音声の合成に使用できる。
  論文  参考訳（メタデータ） (2023-01-05T15:37:15Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
  CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder) 我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
  論文  参考訳（メタデータ） (2022-10-02T07:29:57Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。