Fugu-MT 論文翻訳(概要): EnCLAP++: Analyzing the EnCLAP Framework for Optimizing Automated Audio Captioning Performance

論文の概要: EnCLAP++: Analyzing the EnCLAP Framework for Optimizing Automated Audio Captioning Performance

arxiv url: http://arxiv.org/abs/2409.01201v1
Date: Mon, 2 Sep 2024 12:23:18 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 07:01:54.857416
Title: EnCLAP++: Analyzing the EnCLAP Framework for Optimizing Automated Audio Captioning Performance
Title（参考訳）: EnCLAP++: 自動オーディオキャプションパフォーマンスを最適化するためのEnCLAPフレームワークの分析
Authors: Jaeyeon Kim, Minjeon Jeon, Jaeyoon Jung, Sang Hoon Woo, Jinjoo Lee,
Abstract要約: 自動音声キャプションにおける最先端モデルであるEnCLAPフレームワークの解析と最適化を行う。オリジナルをはるかに上回る拡張バージョンであるEnCLAP++を開発しています。
参考スコア（独自算出の注目度）: 4.345953264604522
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we aim to analyze and optimize the EnCLAP framework, a state-of-the-art model in automated audio captioning. We investigate the impact of modifying the acoustic encoder components, explore pretraining with different dataset scales, and study the effectiveness of a reranking scheme. Through extensive experimentation and quantitative analysis of generated captions, we develop EnCLAP++, an enhanced version that significantly surpasses the original.
Abstract（参考訳）: 本研究では,音声の自動キャプションにおける最先端モデルであるEnCLAPフレームワークの解析と最適化を目的とする。本研究では,音響エンコーダコンポーネントの変更の影響について検討し,異なるデータセットスケールでの事前学習について検討し,再分類方式の有効性について検討する。生成されたキャプションの広範な実験と定量的解析により,オリジナルをはるかに上回る拡張版であるEnCLAP++を開発した。

関連論文リスト

Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文参考訳（メタデータ） (2024-11-04T06:07:53Z)
Pre-training Feature Guided Diffusion Model for Speech Enhancement [37.88469730135598]
音声強調は、雑音環境下での音声の明瞭さと明瞭さを著しく向上させる。本稿では,効率的な音声強調に適した事前学習機能誘導拡散モデルを提案する。
論文参考訳（メタデータ） (2024-06-11T18:22:59Z)
T-CLAP: Temporal-Enhanced Contrastive Language-Audio Pretraining [38.604112878493396]
コントラスト言語-オーディオ事前学習(CLAP)は、音声と言語の表現を整合させるために開発された。音声とテキストの特徴の時間的情報を取得するために,時間的拡張CLAPモデルであるT-CLAPを導入する。 T-CLAPは、音の事象の時間的関係を捉え、最先端のモデルよりも顕著に優れていることを示す。
論文参考訳（メタデータ） (2024-04-27T07:05:48Z)
Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-04-09T13:39:37Z)
LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification [0.4821250031784094]
本研究では,Pmpt EngineeRing(LAMPER)フレームワークを用いたLanguAgeモデルを構築し,多種多様なプロンプトの調整において,事前学習言語モデル(PLM)の適応性を体系的に評価する。
論文参考訳（メタデータ） (2024-03-23T15:52:37Z)
Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
論文参考訳（メタデータ） (2023-10-31T10:45:03Z)
CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration [59.48235003469116]
データの増大はOOD性能を継続的に向上させることを示す。また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
論文参考訳（メタデータ） (2023-09-14T16:16:40Z)
Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文参考訳（メタデータ） (2023-02-01T17:32:16Z)
A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement [20.329872147913584]
音声強調モデルにおける音声情報の統合方法の比較を行った。異なる音声コンテンツモデルと様々な特徴注入技術が性能向上に与える影響を観察する。
論文参考訳（メタデータ） (2022-06-22T12:00:50Z)
Automatic Audio Captioning using Attention weighted Event based Embeddings [25.258177951665594]
本稿では,AACのための軽量(学習可能なパラメータが少ない)Bi-LSTM再帰層を有するエンコーダデコーダアーキテクチャを提案する。 AEDを用いた効率的な埋込み抽出器と時間的注意と拡張技術を組み合わせることで,既存の文献を超越できることを示す。
論文参考訳（メタデータ） (2022-01-28T05:54:19Z)
Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文参考訳（メタデータ） (2021-03-22T20:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。