論文の概要: MECT: Mixture of Experts with CNN-Transformer Network for Speaker verification

• arxiv url: http://arxiv.org/abs/2609.24061v1
• Date: Mon, 21 Sep 2026 03:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.965265
• Title: MECT: Mixture of Experts with CNN-Transformer Network for Speaker verification
• Title（参考訳）: MECT:話者検証のためのCNN-Transformer Networkと専門家の混在
• Abstract要約: MECTは,Mixture-of-Experts(MoE)機構をCNN-Transformerのバックボーンに統合した話者検証モデルである。 音声レベルとフレームレベルの粒度にまたがる4つのMoE変種について,高密度かつスパースなルーティング戦略を用いて検討する。 MECT-B2はVoxCeleb1で強い結果を出し、CN-Celebで強力な結果をもたらし、その効果をさまざまなデータセットで示す。
• 参考スコア（独自算出の注目度）: 14.377865476286821
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose MECT, a speaker verification model that integrates the Mixture-of-Experts (MoE) mechanism into a CNN-Transformer backbone with optimized block structure and stacking scheme. Specifically, we investigated four MoE variants that span utterance-level and frame-level granularity with dense and sparse routing strategies. The MoE mechanism proves to be effective over the baseline without MoE with only a small increase in parameters. We further scale MECT to a series of model sizes, all maintaining compact parameters and low computational complexity. In particular, MECT-B2 achieves state-of-the-art performance on VoxCeleb1 and delivers strong results on CN-Celeb, demonstrating its effectiveness across diverse datasets. In addition, we establish a streaming inference paradigm through causal retraining, which maintains strong performance at a chunk size of 100ms.
• Abstract（参考訳）: 本稿では,MECTという,Mixture-of-Experts(MoE)機構を最適化されたブロック構造とスタック方式を備えたCNN-Transformerバックボーンに統合した話者検証モデルを提案する。 具体的には,高密度かつスパースなルーティング戦略を用いて,発話レベルとフレームレベルの粒度にまたがる4つのMoE変種について検討した。 MoEメカニズムは、パラメータがわずかに増加するだけで、MoEなしでベースライン上で有効であることが証明されている。 我々はさらに、MECTを一連のモデルサイズに拡張し、コンパクトなパラメータと低い計算複雑性を維持している。 特に、MECT-B2はVoxCeleb1で最先端のパフォーマンスを達成し、CN-Celebで強力な結果をもたらし、さまざまなデータセットでその有効性を示している。 さらに,100msのチャンクサイズで高い性能を保ちながら,因果リトレーニングによるストリーミング推論パラダイムを確立する。

関連論文リスト

• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts [47.01697456105496]
  Mixture-of-Experts (MoE)は、大規模言語モデルの学習能力をスケールアップする有望な方法である。 MoEは大きなパラメータサイズのためにメモリオーバーヘッドに悩まされる。 トレーニング後の量子化は、モデル圧縮に強力なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-12T12:44:48Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• TA-MoE: Topology-Aware Large Scale Mixture-of-Expert Training [18.68993910156101]
  大規模MoEトレーニングのためのトポロジ対応ルーティング戦略であるTA-MoEを提案する。 TA-MoEは,様々なハードウェアやモデル構成において,その性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-02-20T11:18:24Z)
• EMC2A-Net: An Efficient Multibranch Cross-channel Attention Network for SAR Target Classification [10.479559839534033]
  本稿では,マルチブランチ構造に基づくマルチスケール受信フィールド(RF)を有するEMC2Aブロックを2つ提案し,効率的な異方性アーキテクチャであるDCNN,EMC2A-Netを設計した。 EMC2Aブロックは、異なる拡張レートの並列拡張畳み込みを利用して、計算負担を大幅に増大させることなく、マルチスケールのコンテキスト特徴を効果的にキャプチャすることができる。 本稿では,EMC2Aモジュールと呼ばれるマルチスケールのマルチチャネルアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2022-08-03T04:31:52Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。