論文の概要: McNet: Fuse Multiple Cues for Multichannel Speech Enhancement
- arxiv url: http://arxiv.org/abs/2211.08872v1
- Date: Wed, 16 Nov 2022 12:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 16:35:23.156092
- Title: McNet: Fuse Multiple Cues for Multichannel Speech Enhancement
- Title(参考訳): McNet:マルチチャネル音声強調のためのFuse Multiple Cues
- Authors: Yujie Yang, Changsheng Quan, Xiaofei Li
- Abstract要約: 本稿では,全帯域空間,狭帯域空間,サブバンドスペクトル,全帯域スペクトル情報をそれぞれ利用するために4つのモジュールをカスケードするMcNetというマルチキュー融合ネットワークを提案する。
実験の結果、提案するネットワークの各モジュールは独自のコントリビューションを持ち、特に他の最先端の手法よりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 7.63374500359543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multichannel speech enhancement, both spectral and spatial information are
vital for discriminating between speech and noise. How to fully exploit these
two types of information and their temporal dynamics remains an interesting
research problem. As a solution to this problem, this paper proposes a
multi-cue fusion network named McNet, which cascades four modules to
respectively exploit the full-band spatial, narrow-band spatial, sub-band
spectral, and full-band spectral information. Experiments show that each module
in the proposed network has its unique contribution and, as a whole, notably
outperforms other state-of-the-art methods.
- Abstract(参考訳): 多チャンネル音声強調では、スペクトル情報と空間情報の両方が音声と雑音の区別に不可欠である。
これらの2種類の情報の活用方法とその時間的ダイナミクスは、いまだに興味深い研究課題である。
そこで本稿では,マルチキュー融合ネットワークであるmcnetを提案する。これは4つのモジュールをカスケードし,それぞれフルバンド空間,狭帯域空間,サブバンドスペクトル,フルバンドスペクトル情報を利用する。
実験の結果、提案するネットワークの各モジュールは独自のコントリビューションを持ち、特に他の最先端の手法よりも優れていることがわかった。
関連論文リスト
- Frequency Domain Nuances Mining for Visible-Infrared Person
Re-identification [75.87443138635432]
既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。
本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。
本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
論文 参考訳(メタデータ) (2024-01-04T09:19:54Z) - Hyperspectral Image Reconstruction via Combinatorial Embedding of
Cross-Channel Spatio-Spectral Clues [6.580484964018551]
既存の学習に基づくハイパースペクトル再構成手法は、ハイパースペクトルバンド間の情報を完全に活用する際の限界を示す。
それぞれの超スペクトル空間における相互依存性について検討する。
これらの組み込み機能は、チャネル間相関をクエリすることで、完全に活用することができる。
論文 参考訳(メタデータ) (2023-12-18T11:37:19Z) - Frequency Spectrum is More Effective for Multimodal Representation and
Fusion: A Multimodal Spectrum Rumor Detector [42.079129968058275]
画像とテキストを混在させるようなマルチモーダルコンテンツは、ソーシャルメディアにおける噂検出に重大な課題をもたらす。
この研究は、空間的特徴を周波数スペクトルに効率的に変換する周波数領域におけるマルチモーダル噂検出の最初の試みである。
二重コントラスト学習を用いた新しい周波数スペクトル表現とfUsionネットワーク(FSRU)は、周波数スペクトルがマルチモーダル表現と融合により効果的であることを明らかにする。
論文 参考訳(メタデータ) (2023-12-18T08:55:42Z) - IIANet: An Intra- and Inter-Modality Attention Network for Audio-Visual
Speech Separation [36.935137240527204]
音声・視覚的特徴融合に注意機構を利用するIIANet(Intra- and Inter-Attention Network)と呼ばれる新しいモデルを提案する。
IIANetは、イントラアテンションブロック(IntraA)とインターアテンションブロック(InterA)の2つのタイプのアテンションブロックで構成されている。
3つの標準オーディオ視覚分離ベンチマーク(LRS2, LRS3, VoxCeleb2)の総合的な実験により,IIANetの有効性が実証された。
論文 参考訳(メタデータ) (2023-08-16T04:31:33Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳(メタデータ) (2023-06-14T09:01:50Z) - MIMO-DBnet: Multi-channel Input and Multiple Outputs DOA-aware
Beamforming Network for Speech Separation [55.533789120204055]
混合信号のみを用いた方向案内音声分離のためのエンドツーエンドビームフォーミングネットワークを提案する。
具体的には,複数チャネルの入力と複数出力アーキテクチャを設計し,各ソースの指向性に基づく埋め込みとビームフォーミング重みを推定する。
論文 参考訳(メタデータ) (2022-12-07T01:52:40Z) - Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes
for Medical Image Super-Resolution [56.622832383316215]
超解像CTおよびMRIスキャンのための新しいマルチヘッド畳み込みアテンションモジュールを提案する。
我々の注目モジュールは、畳み込み操作を用いて、複数の入力テンソルに対して共同的な空間チャネルアテンションを行う。
それぞれの頭部は空間的注意に対する特定の減少率に応じた受容野の大きさの異なる複数の注意ヘッドを導入している。
論文 参考訳(メタデータ) (2022-04-08T07:56:55Z) - Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual
Speech Separation [73.1652905564163]
本稿では,音声-視覚的ニューラル処理を用いて音声信号と映像を分離する問題に対処する。
従来の手法では、フレームワイドマッチング基準を用いて、音声とビデオの共有情報を抽出する。
音声と視覚ストリーム間の局所的な親和性だけでなく,グローバル通信を学習するクロスモーダル親和性ネットワーク(CaffNet)を提案する。
論文 参考訳(メタデータ) (2021-03-25T15:39:12Z) - Concentrated Multi-Grained Multi-Attention Network for Video Based
Person Re-Identification [5.761429719197307]
咬合はビデオベースのRe-ID(Re-ID)タスクにおいて依然として深刻な問題である。
集中型多粒性マルチアテンションネットワーク(CMMANet)を提案する。
論文 参考訳(メタデータ) (2020-09-28T02:18:06Z) - Channel-Attention Dense U-Net for Multichannel Speech Enhancement [21.94418736688929]
我々は、ビームフォーミングを模倣するチャネルアテンション機構をディープアーキテクチャ内に導入する。
我々は,CHiME-3データセットの最先端アプローチに対して,ネットワークの優れた性能を示す。
論文 参考訳(メタデータ) (2020-01-30T19:56:52Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳(メタデータ) (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。