Fugu-MT 論文翻訳(概要): EAViT: External Attention Vision Transformer for Audio Classification

論文の概要: EAViT: External Attention Vision Transformer for Audio Classification

arxiv url: http://arxiv.org/abs/2408.13201v1
Date: Fri, 23 Aug 2024 16:31:06 GMT
ステータス: 処理完了
システム内更新日: 2024-08-26 14:20:44.804583
Title: EAViT: External Attention Vision Transformer for Audio Classification
Title（参考訳）: EAViT:オーディオ分類のための外部注意覚変換器
Authors: Aquib Iqbal, Abid Hasan Zim, Md Asaduzzaman Tonmoy, Limengnan Zhou, Asad Malik, Minoru Kuribayashi,
Abstract要約: 本稿では,音声分類精度の向上を目的とした新しいアプローチであるEAViTモデルを提案する。この研究はEAViTが93.99%の精度を達成し、最先端のモデルを上回ることを示した。
参考スコア（独自算出の注目度）: 1.7262662550436105
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents the External Attention Vision Transformer (EAViT) model, a novel approach designed to enhance audio classification accuracy. As digital audio resources proliferate, the demand for precise and efficient audio classification systems has intensified, driven by the need for improved recommendation systems and user personalization in various applications, including music streaming platforms and environmental sound recognition. Accurate audio classification is crucial for organizing vast audio libraries into coherent categories, enabling users to find and interact with their preferred audio content more effectively. In this study, we utilize the GTZAN dataset, which comprises 1,000 music excerpts spanning ten diverse genres. Each 30-second audio clip is segmented into 3-second excerpts to enhance dataset robustness and mitigate overfitting risks, allowing for more granular feature analysis. The EAViT model integrates multi-head external attention (MEA) mechanisms into the Vision Transformer (ViT) framework, effectively capturing long-range dependencies and potential correlations between samples. This external attention (EA) mechanism employs learnable memory units that enhance the network's capacity to process complex audio features efficiently. The study demonstrates that EAViT achieves a remarkable overall accuracy of 93.99%, surpassing state-of-the-art models.
Abstract（参考訳）: 本稿では,音声分類精度の向上を目的とした新しいアプローチであるEAViTモデルを提案する。デジタルオーディオリソースの普及に伴い、音楽ストリーミングプラットフォームや環境音認識など様々なアプリケーションにおいて、レコメンデーションシステムの改善やユーザパーソナライズの必要性から、正確で効率的なオーディオ分類システムへの需要が高まっている。膨大なオーディオライブラリを一貫性のあるカテゴリに分類するためには,正確な音声分類が不可欠である。本研究では,10種類のジャンルにまたがる1,000曲からなるGTZANデータセットを用いた。それぞれの30秒のオーディオクリップを3秒の抜粋に分割して、データセットの堅牢性を高め、オーバーフィッティングリスクを軽減し、よりきめ細かい特徴分析を可能にする。 EAViTモデルは、マルチヘッド外部注意(MEA)機構をビジョントランスフォーマー(ViT)フレームワークに統合し、長距離依存関係とサンプル間の潜在的な相関を効果的に捉える。この外部アテンション(EA)機構は学習可能なメモリユニットを使用し、複雑なオーディオ機能を効率的に処理するネットワークの能力を高める。この研究はEAViTが93.99%の精度を達成し、最先端のモデルを上回ることを示した。

関連論文リスト

Progressive Confident Masking Attention Network for Audio-Visual Segmentation [8.591836399688052]
Audio-Visualとして知られる課題が出現し、シーン内のオブジェクトを音化するためのセグメンテーションマップを作成することを目的としている。 PMCANet(Progressive Confident Masking Attention Network)を紹介する。注意機構を利用して、音声信号と視覚フレームの本質的な相関を明らかにする。
論文参考訳（メタデータ） (2024-06-04T14:21:41Z)
MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文参考訳（メタデータ） (2024-01-07T08:59:32Z)
Robust Wake-Up Word Detection by Two-stage Multi-resolution Ensembles [48.208214762257136]
オーディオストリームのリアルタイム処理のための軽量オンデバイスモデルと、サーバ側の検証モデルである。プライバシーを保護するため、オーディオ機能は生のオーディオではなくクラウドに送られる。
論文参考訳（メタデータ） (2023-10-17T16:22:18Z)
Multi-Resolution Audio-Visual Feature Fusion for Temporal Action Localization [8.633822294082943]
本稿ではMRAV-FF(Multi-Resolution Audio-Visual Feature Fusion)を紹介する。 MRAV-FFは、異なる時間分解能間でオーディオ視覚データをマージする革新的な手法である。
論文参考訳（メタデータ） (2023-10-05T10:54:33Z)
Asca: less audio data is more insightful [10.354385253247761]
本稿では,CoAtNetに基づくASCA(Audio Spectrogram Convolution Attention)を紹介する。 BirdCLEF2023とAudioSet(Balanced)では、それぞれ81.2%と35.1%の精度を達成した。モデル固有の構造は出力を豊かにし、様々な音声検出タスクをまたいだ一般化を可能にする。
論文参考訳（メタデータ） (2023-09-23T13:24:06Z)
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation [22.28510611697998]
本稿では,この課題に対処するための新しいtextbfAudio-aware query-enhanced textbfTRansformer (AuTR) を提案する。既存の手法とは異なり,本手法では,音声・視覚機能の深層融合と集約を可能にするマルチモーダルトランスフォーマーアーキテクチャを導入している。
論文参考訳（メタデータ） (2023-07-25T03:59:04Z)
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
論文参考訳（メタデータ） (2023-06-19T03:10:57Z)
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
論文参考訳（メタデータ） (2023-03-29T07:24:28Z)
A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification [64.59834310846516]
音声視覚シーン分類(AVSC)のためのシステム性能を改善するために,共同モデリングとデータ拡張という2つの手法を提案する。最終システムはDCASE 2021 Task 1bに送信された全AVSCシステムの中で94.2%の精度を達成できる。
論文参考訳（メタデータ） (2022-03-07T07:29:55Z)
Multimodal Attention Fusion for Target Speaker Extraction [108.73502348754842]
マルチモーダル核融合のための新しい注意機構とその訓練方法を提案する。シミュレーションデータに対する従来の核融合機構よりも,信号対歪み比(SDR)を1.0dB向上させる。
論文参考訳（メタデータ） (2021-02-02T05:59:35Z)
Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
論文参考訳（メタデータ） (2020-04-29T09:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。