論文の概要: Unified Microphone Conversion: Many-to-Many Device Mapping via Feature-wise Linear Modulation

• arxiv url: http://arxiv.org/abs/2410.18322v2
• Date: Tue, 20 May 2025 03:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.466527
• Title: Unified Microphone Conversion: Many-to-Many Device Mapping via Feature-wise Linear Modulation
• Title（参考訳）: 統一マイクロホン変換:特徴量線形変調による多対多デバイスマッピング
• Authors: Myeonghoon Ryu, Hongseok Oh, Suji Lee, Han Park,
• Abstract要約: 統一マイクロホン変換(Unified Microphone Conversion)は、音声イベント分類システムにおいて、デバイス変動を抑えるために設計された統合生成フレームワークである。 提案手法は最先端技術よりも2.6%優れ,マクロ平均F1スコアの変動率を0.8%低減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Unified Microphone Conversion, a unified generative framework designed to bolster sound event classification (SEC) systems against device variability. While our prior CycleGAN-based methods effectively simulate device characteristics, they require separate models for each device pair, limiting scalability. Our approach overcomes this constraint by conditioning the generator on frequency response data, enabling many-to-many device mappings through unpaired training. We integrate frequency-response information via Feature-wise Linear Modulation, further enhancing scalability. Additionally, incorporating synthetic frequency response differences improves the applicability of our framework for real-world application. Experimental results show that our method outperforms the state-of-the-art by 2.6% and reduces variability by 0.8% in macro-average F1 score.
• Abstract（参考訳）: デバイス変動に対する音事象分類(SEC)システムの強化を目的とした統合生成フレームワークであるUnified Microphone Conversionを提案する。 これまでのCycleGANベースの手法はデバイス特性を効果的にシミュレートするが、各デバイスペアごとに別々のモデルが必要であり、スケーラビリティが制限される。 提案手法は,周波数応答データにジェネレータを条件付けすることで,この制約を克服し,多対多のデバイスマッピングを可能にする。 周波数応答情報を特徴量線形変調により統合し,拡張性を高める。 さらに,合成周波数応答の相違を取り入れることで,実世界のアプリケーションへの適用性が向上する。 実験結果から,本手法は技術水準を2.6%向上させ,マクロ平均F1スコアの変動率を0.8%低下させることがわかった。

関連論文リスト

• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• Deep Active Speech Cancellation with Multi-Band Mamba Network [62.73250985838971]
  アクティブ音声キャンセラ(ASC)のための新しい深層学習ネットワークを提案する。 提案したMulti-Band Mambaアーキテクチャは、入力音声を異なる周波数帯域にセグメントし、正確な反信号生成を可能にする。 実験の結果、ANCシナリオでは7.2dB、ASCでは6.2dBの改善が達成された。
  論文  参考訳（メタデータ） (2025-02-03T09:22:26Z)
• Multi-Microphone Speech Emotion Recognition using the Hierarchical Token-semantic Audio Transformer Architecture [11.063156506583562]
  これらの課題に対処し、感情分類精度を向上させるために、マルチマイクロホン信号の処理を提案する。 我々は,マルチチャンネルオーディオ入力を処理するために,最先端のトランスフォーマーモデルであるHTS-ATを採用する。 我々のマルチマイクロフォンモデルは,実世界の残響環境での試験において,シングルチャネルベースラインに比べて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T13:50:59Z)
• Microphone Conversion: Mitigating Device Variability in Sound Event Classification [0.0]
  本稿では,CycleGANを用いたデバイス変動に対する音事象分類(SEC)システムのレジリエンスを高めるための新しい拡張手法を提案する。 本手法は,入力スペクトログラムを異なるデバイスに記録したかのように変換することで,トレーニングデータの限られたデバイス多様性に対処する。
  論文  参考訳（メタデータ） (2024-01-12T21:59:01Z)
• MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
  異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。 提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
  論文  参考訳（メタデータ） (2024-01-07T08:59:32Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Device-Robust Acoustic Scene Classification via Impulse Response Augmentation [5.887969742827488]
  CNNと音響スペクトログラム変換器を用いた音響シーン分類におけるDIR増強の効果について検討する。 その結果、DIRの分離による拡張は、最先端のFreq-MixStyleと同様に動作することがわかった。 また、DIR増幅とFreq-MixStyleは相補的であり、トレーニング中に見えないデバイスによって記録された信号に対して、新しい最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-12T14:12:56Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR [35.7018440502825]
  マルチストリームパラダイムでは、さまざまな未知の単一ストリーム条件やストリーム間ダイナミクスを扱うことにより、ロバスト性を改善する。 ミスマッチシナリオに着目した2段階拡張方式を提案する。 従来の訓練戦略と比較して、単語誤り率を29.7～59.3%削減するなど、大幅な改善が報告されている。
  論文  参考訳（メタデータ） (2021-02-05T08:36:58Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)
• Improving Stability of LS-GANs for Audio and Speech Signals [70.15099665710336]
  このベクトル空間で計算された正規性からジェネレータ最適化の定式化への切り離しの符号化は、より包括的な分光図を作成するのに役立つことを示す。 本手法をベースラインGANと比較してモード崩壊の少ないトレーニングにおける安定性向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:41:25Z)
• Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
  本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。 提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。 静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
  論文  参考訳（メタデータ） (2020-06-23T09:19:13Z)
• Audio-Visual Decision Fusion for WFST-based and seq2seq Models [3.2771898634434997]
  雑音下では、音声認識システムは高い単語誤り率(WER)に悩まされる 提案手法は,推測時における音声と視覚のモダリティから情報を融合する新しい手法である。 提案手法は音響のみのWERよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-01-29T13:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。