論文の概要: CLAP-ART: Automated Audio Captioning with Semantic-rich Audio Representation Tokenizer

• arxiv url: http://arxiv.org/abs/2506.00800v1
• Date: Sun, 01 Jun 2025 03:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.221296
• Title: CLAP-ART: Automated Audio Captioning with Semantic-rich Audio Representation Tokenizer
• Title（参考訳）: CLAP-ART:Semantic-rich Audio Representation Tokenizerによる自動オーディオキャプション
• Authors: Daiki Takeuchi, Binh Thien Nguyen, Masahiro Yasuda, Yasunori Ohishi, Daisuke Niizumi, Noboru Harada,
• Abstract要約: 本稿では,意味豊かで離散的なトークンを入力として利用するAAC手法であるCLAP-ARTを提案する。 CLAP-ARTは2つのAACベンチマークにおいて,ベースラインのEnCLAPよりも優れていることを確認した。
• 参考スコア（独自算出の注目度）: 18.87311136671246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Audio Captioning (AAC) aims to describe the semantic contexts of general sounds, including acoustic events and scenes, by leveraging effective acoustic features. To enhance performance, an AAC method, EnCLAP, employed discrete tokens from EnCodec as an effective input for fine-tuning a language model BART. However, EnCodec is designed to reconstruct waveforms rather than capture the semantic contexts of general sounds, which AAC should describe. To address this issue, we propose CLAP-ART, an AAC method that utilizes ``semantic-rich and discrete'' tokens as input. CLAP-ART computes semantic-rich discrete tokens from pre-trained audio representations through vector quantization. We experimentally confirmed that CLAP-ART outperforms baseline EnCLAP on two AAC benchmarks, indicating that semantic-rich discrete tokens derived from semantically rich AR are beneficial for AAC.
• Abstract（参考訳）: Automated Audio Captioning (AAC) は、音響イベントやシーンを含む一般的な音の意味的文脈を、効果的な音響特徴を利用して記述することを目的としている。 性能を高めるため、AAC法であるEnCLAPでは、言語モデルBARTを微調整するための効果的な入力として、EnCodecからの離散トークンを使用した。 しかし、EnCodecは、AACが記述すべき一般的な音の意味的文脈を捉えるのではなく、波形を再構成するように設計されている。 この問題に対処するため,我々は 'semantic-rich and discrete''' トークンを入力として利用する AAC 手法である CLAP-ART を提案する。 CLAP-ARTは、事前訓練された音声表現からベクトル量子化を通じて意味に富んだ離散トークンを計算する。 CLAP-ARTは2つのAACベンチマークでベースラインEnCLAPよりも優れており、意味的にリッチなARから派生した意味豊かな離散トークンがAACにとって有益であることを示す。

関連論文リスト

• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• How Should We Extract Discrete Audio Tokens from Self-Supervised Models? [15.03039528965825]
  本稿では,識別的および生成的タスクにまたがるセマンティックトークンの最適構成について検討する。 複数のSSL層にまたがるユニバーサルヴォコーダをトレーニングするためのスケーラブルなソリューションを提案する。
  論文  参考訳（メタデータ） (2024-06-15T20:43:07Z)
• Efficient Audio Captioning Transformer with Patchout and Text Guidance [74.59739661383726]
  本稿では, [1] で提案した Patchout を利用したフルトランスフォーマーアーキテクチャを提案する。 キャプション生成は、事前訓練された分類モデルにより抽出されたテキストオーディオセットタグに部分的に条件付けされる。 提案手法は,DCASE Challenge 2022のタスク6Aで審査員賞を受賞している。
  論文  参考訳（メタデータ） (2023-04-06T07:58:27Z)
• SemanticAC: Semantics-Assisted Framework for Audio Classification [13.622344835167997]
  音声分類のためのセマンティックACを提案する。 我々は、ラベルから豊富な意味を抽出し、音声信号とそのラベル間の意味的一貫性を最適化するために、言語モデルを用いる。 提案手法は、比較音声分類法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-02-12T15:30:28Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning [25.06635361326706]
  インタラクティブなモダリティ表現を学習するための,CLIP-AACと呼ばれる新しいAACシステムを提案する。 提案するCLIP-AACでは,事前学習エンコーダにオーディオヘッドとテキストヘッドを導入し,音声テキスト情報を抽出する。 また、音声信号と2つの字幕の対応を学習することで、ドメイン差を狭めるためにコントラスト学習を適用する。
  論文  参考訳（メタデータ） (2022-03-29T13:06:46Z)
• Joint Speech Recognition and Audio Captioning [37.205642807313545]
  室内と屋外の両方で録音された音声サンプルは、しばしば二次音源で汚染される。 自動音声キャプション(AAC)の進展する分野と、徹底的に研究された自動音声認識(ASR)を一体化することを目的としている。 本稿では,ASRタスクとAACタスクのエンドツーエンド共同モデリングのためのいくつかのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-03T04:42:43Z)
• Automatic Audio Captioning using Attention weighted Event based Embeddings [25.258177951665594]
  本稿では,AACのための軽量(学習可能なパラメータが少ない)Bi-LSTM再帰層を有するエンコーダデコーダアーキテクチャを提案する。 AEDを用いた効率的な埋込み抽出器と時間的注意と拡張技術を組み合わせることで,既存の文献を超越できることを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:54:19Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。