Fugu-MT 論文翻訳(概要): Towards Diverse and Efficient Audio Captioning via Diffusion Models

論文の概要: Towards Diverse and Efficient Audio Captioning via Diffusion Models

arxiv url: http://arxiv.org/abs/2409.09401v1
Date: Sat, 14 Sep 2024 10:23:35 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 20:57:09.119130
Title: Towards Diverse and Efficient Audio Captioning via Diffusion Models
Title（参考訳）: 拡散モデルによる広帯域・高能率オーディオキャプションの実現に向けて
Authors: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu,
Abstract要約: Diffusion-based Audio Captioning (DAC) は、多種多様な効率的なオーディオキャプションに適した非自己回帰拡散モデルである。我々のフレームワークは、キャプションにおけるその本質性と包括的文脈モデリングに起因した独特なアドバンテージを提供する。
参考スコア（独自算出の注目度）: 31.14740469701388
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.
Abstract（参考訳）: 本稿では,多種多様な効率的な音声キャプションに適した非自己回帰拡散モデルであるDiffusion-based Audio Captioning (DAC)を紹介する。既存のキャプションモデルは、様々なキャプションタスクにおいて顕著な成功を収めているが、生成速度や多様性は、音声理解やマルチメディア応用の進歩を妨げている。我々の拡散型フレームワークは、キャプションにおけるその固有の確率性と全体論的文脈モデリングから生じる独特な利点を提供する。厳密な評価により、DACはキャプション品質の既存のベンチマークと比べてSOTAの性能レベルを達成できるだけでなく、生成速度や多様性の観点からも大幅に向上することを示した。 DACの成功は、テキスト生成が拡散バックボーンを使用して音声および視覚生成タスクとシームレスに統合できることを示し、異なるモードにわたる統一されたオーディオ関連生成モデルへの道を開いた。

関連論文リスト

Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement [36.136070412464214]
音声強調(SE)は,雑音の多い音声の品質向上を目的としている。本稿では,SEのための新しいマルチモーダリティ学習フレームワークを提案する。提案するAVSEシステムは,音声品質を著しく向上し,生成成果物を低減できることを示す。
論文参考訳（メタデータ） (2025-01-23T04:36:29Z)
Classifier-Guided Captioning Across Modalities [69.75111271002137]
本稿では,音声キャプションにおける可聴性の獲得など,代替設定のセマンティクスにキャプションネットワークを適用する手法を提案する。本フレームワークは, (i) 言語モデル(LM)を組み込んだ冷凍キャプションシステムと, (ii) キャプションシステムを案内するテキスト分類器の2つの主要コンポーネントから構成される。特に、既存のゼロショット音声キャプションシステムと組み合わせることで、その品質を改善し、ゼロショット音声キャプションにおける最先端の性能を設定する。
論文参考訳（メタデータ） (2025-01-03T18:09:26Z)
AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations [1.2101820447447276]
近年,音声言語領域におけるマルチモーダル学習は大きな進歩を遂げている。しかし、音声学習は、画像言語タスクと比較して、限られたデータや低品質のデータによって困難に直面している。本手法は,音声クリップを自然言語ラベルと対応する音声信号処理操作で拡張することにより,音声キャプチャペアを体系的に生成する。このスケーラブルな方法は、テキストおよびオーディオ関連モデルの高品質なトレーニングデータセットであるAudioSetMixを生成する。
論文参考訳（メタデータ） (2024-05-17T21:08:58Z)
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
本稿では,複数の改良を加えた多言語音声認識モデルを提案する。我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
論文参考訳（メタデータ） (2024-03-14T01:16:32Z)
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。既存の拡散に基づく手法は、ビデオと音声を別々に生成する。本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
論文参考訳（メタデータ） (2024-02-27T17:57:04Z)
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
論文参考訳（メタデータ） (2023-12-08T23:55:19Z)
Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
論文参考訳（メタデータ） (2023-09-20T17:59:32Z)
Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。提案するAAIは、他のテキストや音声誘導方式よりも優れています。
論文参考訳（メタデータ） (2023-06-20T12:50:49Z)
Taming Diffusion Models for Audio-Driven Co-Speech Gesture Generation [41.292644854306594]
DiffGesture (DiffGesture) という,拡散に基づく新しいフレームワークを提案する。 DiffGestureは、より優れたモードカバレッジとより強力なオーディオ相関を備えたコヒーレントなジェスチャーをレンダリングする、最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-03-16T07:32:31Z)
Accommodating Audio Modality in CLIP for Multimodal Processing [48.83906067348211]
視覚言語モデルCLIPを拡張し、視覚言語モデルAudioのマルチモーダル処理におけるオーディオモダリティに対応する。具体的には、モーダル間およびモーダル内コントラスト学習を用いて、オーディオと他のモーダル間の相関について検討する。提案するCLIP4VLAモデルは,ビデオ検索やビデオキャプションなど,さまざまな下流タスクで検証される。
論文参考訳（メタデータ） (2023-03-12T06:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。