論文の概要: SELD-Mamba: Selective State-Space Model for Sound Event Localization and Detection with Source Distance Estimation

• arxiv url: http://arxiv.org/abs/2408.05057v1
• Date: Fri, 9 Aug 2024 13:26:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 15:47:15.115707
• Title: SELD-Mamba: Selective State-Space Model for Sound Event Localization and Detection with Source Distance Estimation
• Title（参考訳）: SELD-Mamba:音源距離推定による音場定位・検出のための選択的状態空間モデル
• Authors: Da Mu, Zhicheng Zhang, Haobo Yue, Zehao Wang, Jin Tang, Jianqin Yin,
• Abstract要約: 選択状態空間モデルであるMambaを利用するSELD-Mambaと呼ばれるSELDのネットワークアーキテクチャを提案する。 本研究では,イベント独立ネットワークV2(EINV2)を基本フレームワークとして採用し,コンバータブロックを双方向のMambaブロックに置き換える。 本研究では,2段階の訓練手法を実装し,第1段階は音事象検出(SED)とDoAの方向推定損失に着目し,第2段階は音源距離推定(SDE)の損失を再導入する。
• 参考スコア（独自算出の注目度）: 21.82296230219289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the Sound Event Localization and Detection (SELD) task, Transformer-based models have demonstrated impressive capabilities. However, the quadratic complexity of the Transformer's self-attention mechanism results in computational inefficiencies. In this paper, we propose a network architecture for SELD called SELD-Mamba, which utilizes Mamba, a selective state-space model. We adopt the Event-Independent Network V2 (EINV2) as the foundational framework and replace its Conformer blocks with bidirectional Mamba blocks to capture a broader range of contextual information while maintaining computational efficiency. Additionally, we implement a two-stage training method, with the first stage focusing on Sound Event Detection (SED) and Direction of Arrival (DoA) estimation losses, and the second stage reintroducing the Source Distance Estimation (SDE) loss. Our experimental results on the 2024 DCASE Challenge Task3 dataset demonstrate the effectiveness of the selective state-space model in SELD and highlight the benefits of the two-stage training approach in enhancing SELD performance.
• Abstract（参考訳）: Sound Event Localization and Detection (SELD)タスクでは、Transformerベースのモデルが印象的な機能を示している。 しかし、トランスフォーマーの自己保持機構の二次的な複雑さは計算の非効率性をもたらす。 本稿では,選択状態空間モデルであるMambaを利用するSELD-Mambaと呼ばれるSELDのネットワークアーキテクチャを提案する。 本研究では,イベント独立ネットワークV2(EINV2)を基本フレームワークとして採用し,コンバータブロックを双方向のMambaブロックに置き換え,より広い範囲のコンテキスト情報を取得するとともに,計算効率を向上する。 さらに,2段階の訓練手法を実装し,第1段階は音事象検出(SED)とDoA推定の方向性に着目し,第2段階は音源距離推定(SDE)の損失を再導入する。 2024 DCASE Challenge Task3 データセットによる実験結果から,SELD における選択的状態空間モデルの有効性を実証し,SELD の性能向上における2段階トレーニング手法の利点を明らかにする。

関連論文リスト

• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• Intent Detection in the Age of LLMs [3.755082744150185]
  インテント検出はタスク指向対話システム(TODS)の重要な構成要素である 従来のアプローチは、計算効率の良い教師付き文変換器エンコーダモデルに依存していた。 固有の世界知識を持つ生成的大言語モデル(LLM)の出現は、これらの課題に対処する新たな機会を提供する。
  論文  参考訳（メタデータ） (2024-10-02T15:01:55Z)
• MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
  事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。 点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。 本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
  論文  参考訳（メタデータ） (2024-04-18T11:09:25Z)
• Sound Event Detection and Localization with Distance Estimation [4.139846693958608]
  3D SELDは、音事象とその対応方向(DOA)を識別する複合作業である 本研究では,SELDコア内に距離推定を統合する2つの方法について検討する。 以上の結果から,音事象検出やDOA推定における性能劣化を伴わずに3D SELDを行うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:34:16Z)
• X-InstructBLIP: A Framework for aligning X-Modal instruction-aware representations to LLMs and Emergent Cross-modal Reasoning [109.9413329636322]
  本稿では,複数のモーダル性(画像,3D,オーディオ,ビデオ)を凍結した大規模言語モデル(LLM)に統合する効率的なフレームワークを提案する。 提案手法では, Q-Formers と Linear Projections (LP) の2つの異なるプロジェクション機構について検討する。
  論文  参考訳（メタデータ） (2023-11-30T18:43:51Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• CoLoC: Conditioned Localizer and Classifier for Sound Event Localization and Detection [0.0]
  音事象の局所化・検出(SELD)のための新しいソリューションである条件付きローカライザと(CoLoC)について述べる。 解は2つの段階から構成される: 局所化はまず行われ、次にローカライザの出力によって条件付けられた分類が続く。 我々は,STARSS22データセットのほとんどの指標において,ベースラインシステムの改善を図っている。
  論文  参考訳（メタデータ） (2022-10-25T11:37:43Z)
• Sound Event Detection Transformer: An Event-based End-to-End Model for Sound Event Detection [12.915110466077866]
  音のイベント検出(SED)は、監視、ビデオインデックス作成等に広く応用され、注目を集めている。 SEDの既存のモデルは、主にフレームレベルの予測を生成し、それをシーケンスマルチラベル分類問題に変換する。 本稿ではまず,1次元検出変換器 (1D-DETR) について述べる。 SEDの特性から、1D-DETRに音声クエリと1対1のマッチング戦略を追加し、SEDT(Sound Event Detection Transformer)のモデルを作成する。
  論文  参考訳（メタデータ） (2021-10-05T12:56:23Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [85.02494022662505]
  DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。 入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。 実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
  論文  参考訳（メタデータ） (2021-07-16T04:58:58Z)
• Event-LSTM: An Unsupervised and Asynchronous Learning-based Representation for Event-based Data [8.931153235278831]
  イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。 LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。 また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
  論文  参考訳（メタデータ） (2021-05-10T09:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。