Fugu-MT 論文翻訳(概要): Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations

論文の概要: Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations

arxiv url: http://arxiv.org/abs/2406.02178v2
Date: Fri, 7 Jun 2024 18:41:28 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 12:14:33.696507
Title: Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Title（参考訳）: オーディオ・マンバ:自己監督型音声表現のための選択状態空間
Authors: Sarthak Yadav, Zheng-Hua Tan,
Abstract要約: 本研究は,汎用音声表現学習のための選択状態空間モデルであるAudio Mambaを提案する。 10種類の多様なオーディオ認識ダウンストリームタスクに対する実験結果から、提案したモデルは、同等の自己教師型オーディオスペクトログラム変換器のベースラインを一貫して上回っていることが示された。
参考スコア（独自算出の注目度）: 16.269123889392343
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite its widespread adoption as the prominent neural architecture, the Transformer has spurred several independent lines of work to address its limitations. One such approach is selective state space models, which have demonstrated promising results for language modelling. However, their feasibility for learning self-supervised, general-purpose audio representations is yet to be investigated. This work proposes Audio Mamba, a selective state space model for learning general-purpose audio representations from randomly masked spectrogram patches through self-supervision. Empirical results on ten diverse audio recognition downstream tasks show that the proposed models, pretrained on the AudioSet dataset, consistently outperform comparable self-supervised audio spectrogram transformer (SSAST) baselines by a considerable margin and demonstrate better performance in dataset size, sequence length and model size comparisons.
Abstract（参考訳）: 顕著なニューラルアーキテクチャとして広く採用されているにもかかわらず、Transformerはその限界に対処するためにいくつかの独立した作業ラインを刺激してきた。そのようなアプローチの1つは選択状態空間モデルであり、言語モデリングの有望な結果を示している。しかし, 自己指導型汎用音声表現の学習の可能性については, 未だ検討されていない。この研究は、ランダムなマスク付きスペクトログラムパッチから自己監督を通して汎用音声表現を学習するための選択状態空間モデルであるAudio Mambaを提案する。 10の多様なオーディオ認識ダウンストリームタスクに対する実証的な結果から、提案されたモデルはAudioSetデータセットで事前訓練され、ほぼ同等の自己教師型オーディオスペクトログラム変換器(SSAST)ベースラインをかなりのマージンで上回り、データセットサイズ、シーケンス長、モデルサイズの比較においてより良いパフォーマンスを示す。

関連論文リスト

Audio Mamba: Bidirectional State Space Model for Audio Representation Learning [15.472819870523093]
本稿では,音声分類のためのSSMベースモデルとして,自己注意のない初のAudio Mambaを紹介する。我々は、AuMを6つの異なるベンチマークを含む様々なオーディオデータセットで評価し、同等またはより良いパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-06-05T15:00:59Z)
Audio Mamba: Pretrained Audio State Space Model For Audio Tagging [1.2123876307427102]
状態空間モデルとの長い音声スペクトログラム依存性をキャプチャする自己注意のないアプローチであるAudio Mambaを提案する。 2つのオーディオタグ付けデータセットの実験結果から,Audio Mambaのパラメータ効率を示すとともに,第3パラメータを持つSOTAオーディオスペクトログラム変換器に匹敵する結果を得た。
論文参考訳（メタデータ） (2024-05-22T13:35:56Z)
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
本稿では,複数の改良を加えた多言語音声認識モデルを提案する。我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
論文参考訳（メタデータ） (2024-03-14T01:16:32Z)
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
論文参考訳（メタデータ） (2023-08-21T01:52:01Z)
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes [6.375996974877916]
離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
論文参考訳（メタデータ） (2023-08-14T15:47:25Z)
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
論文参考訳（メタデータ） (2023-01-30T04:44:34Z)
Audio-visual speech enhancement with a deep Kalman filter generative model [0.0]
本稿では,潜伏変数に対するマルコフ連鎖モデルを想定したオーディオビジュアルディープカルマンフィルタ(AV-DKF)生成モデルを提案する。テスト時に音声信号を推定する効率的な推論手法を開発した。
論文参考訳（メタデータ） (2022-11-02T09:50:08Z)
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
論文参考訳（メタデータ） (2021-02-23T09:59:31Z)
Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文参考訳（メタデータ） (2020-09-06T13:01:06Z)
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data [9.072124914105325]
本稿では、弱いラベル付きビデオ記録から音を認識することを学習するオーディオ視覚融合モデルを提案する。大規模音響イベントデータセットであるAudioSetの実験は,提案モデルの有効性を実証する。
論文参考訳（メタデータ） (2020-05-29T01:30:14Z)
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
論文参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。