論文の概要: AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification
- arxiv url: http://arxiv.org/abs/2606.29335v1
- Date: Sun, 28 Jun 2026 11:03:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.881378
- Title: AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification
- Title（参考訳）: AMR:マルチモーダル多言語話者識別のための適応的モーダリティルーティング
- Abstract要約: 本稿では,POLY-SIM 2026 Grand Challengeのためのマルチモーダル多言語話者識別システムを提案する。
このシステムは、アダプティブ・モダリティ・ルーティング(Adaptive Modality Routing, AMR)と呼ばれるモジュール上に構築されている。
4つのプロトコルの平均精度は99.07%であり、Fusion and Orthogonal Projection(FOP)のベースラインを32.73%上回っている。
- 参考スコア（独自算出の注目度）: 28.70105490200557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal speaker identification systems face two key challenges in real-world deployment: missing modalities and language mismatch between training and testing conditions. In practical scenarios, background multi-speaker conversations, ambient noise, and overlapping speech further degrade identification accuracy. To address these challenges, we propose a multimodal polyglot speaker identification system for the POLY-SIM 2026 Grand Challenge. The system is fundamentally built upon Adaptive Modality Routing(AMR), a modality fusion module that dynamically assesses per-sample input quality and integrates modality information. Specifically, AMR employs two modality adapters to process the embeddings extracted from a linguistically robust audio encoder(W2V-BERT 2.0) and a large-scale pretrained face encoder(IResNet-18), producing modality-adapted embeddings. Based on these adapted embeddings, a trainable router estimates dynamic modality weights, which are subsequently applied to aggregate the modality-specific logits for the final prediction. To optimize this routing mechanism, we adopt a modality-aware training strategy that constructs four types of sample pairs to simulate diverse input conditions, with KL divergence serving as explicit supervision for weight assignment. Experimental results on the POLY-SIM 2026 evaluation set show that the proposed system achieves identification accuracy of 99.93%(English multimodal, P3), 100.00%(Urdu multimodal, P5), 97.50%(English audio-only, P4), and 98.83%(Urdu audio-only, P6). The average accuracy across all four protocols is 99.07%, surpassing the Fusion and Orthogonal Projection(FOP) baseline by 32.73%.
- Abstract（参考訳）: マルチモーダル話者識別システムは、実世界の展開において2つの重要な課題に直面している。
実践的なシナリオでは、背景のマルチ話者会話、周囲雑音、重なり合う音声により、識別精度はさらに低下する。
これらの課題に対処するために,POLY-SIM 2026 Grand Challengeのための多モード多言語話者識別システムを提案する。
アダプティブ・モダリティ・ルーティング(Adaptive Modality Routing, AMR)は、サンプルごとの入力品質を動的に評価し、モダリティ情報を統合するモジュールである。
具体的には、言語的に堅牢なオーディオエンコーダ(W2V-BERT 2.0)と大規模事前訓練された顔エンコーダ(IResNet-18)から抽出した埋め込みを処理するために、2つのモダリティアダプタを使用している。
これらの適応された埋め込みに基づいて、トレーニング可能なルータは動的モダリティ重みを推定し、最終的な予測のためにモダリティ固有のロジットを集約する。
このルーティング機構を最適化するために,4種類のサンプルペアを構築し,多様な入力条件をシミュレートするモダリティ対応トレーニング戦略を採用した。
POLY-SIM 2026評価セットの実験結果から,提案システムは99.93%(Urdu multimodal, P3), 100.00%(Urdu multimodal, P5), 97.50%(Urdu multimodal, P4), 98.83%(Urdu audioonly, P6), 98.83%(Urdu audioonly, P6)の識別精度が得られた。
4つのプロトコルの平均精度は99.07%であり、Fusion and Orthogonal Projection(FOP)のベースラインを32.73%上回っている。
関連論文リスト
- POLY-SIM: Polyglot Speaker Identification with Missing Modality Grand Challenge 2026 Evaluation Plan [27.26463956543086]
Poly-SIM Grand Challenge 2026は、欠落したモダリティと言語間の条件下でのマルチモーダル話者識別の研究を進めることを目的としている。
特に、グランドチャレンジは、異なる言語間で強いパフォーマンスを維持しながら、不完全なマルチモーダル入力を効果的に活用できる方法の開発を奨励する。
論文 参考訳（メタデータ） (2026-03-25T17:47:00Z) - Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach [43.09390014734485]
本稿では,制約のないビデオにおけるアンビバレンス/ヘシタシー認識のためのマルチモーダルアプローチを提案する。
提案手法は,シーン,顔,音声,テキストの4つの相補的モダリティを統合する。
BAHコーパスの実験では、全ての単調基底線上でのマルチモーダル核融合の明らかな利得が示されている。
論文 参考訳（メタデータ） (2026-03-13T09:50:03Z) - Transsion Multilingual Speech Recognition System for MLC-SLM 2025 Challenge [18.816408172588144]
本稿では,MLC-SLM 2025 Challengeのトラック1用トランスミッション音声チームが開発した,新しい多言語自動音声認識(ASR)システムのアーキテクチャと性能について述べる。
提案システムは,(1)凍結したWhisper-large-v3ベースの音声エンコーダで,大規模事前学習を利用してロバストな音響特徴抽出を実現する。
事前訓練されたモデルとタスク固有の微調整を体系的に組み合わせることで、11言語で9.83%の単語/文字エラー率(WER/CER)を達成した。
論文 参考訳（メタデータ） (2025-08-15T10:39:05Z) - Contra4: Evaluating Contrastive Cross-Modal Reasoning in Audio, Video, Image, and 3D [97.08549913899247]
Contra4は、画像、オーディオ、ビデオ、および3Dの4つのモードにまたがる、対照的な相互モーダル推論のためのデータセットである。
それぞれの例は、複数の候補モダリティのインスタンスと並んで自然言語の質問を示し、モデルがプロンプトと意味的に一致するものを選択する必要がある。
コントラ4は、人間の注釈付きキャプションとモデルの混在するラウンドトリップ一貫性フィルタを組み合わせることで、高品質な監視を確実にし、174kのトレーニング例と2.3kのサンプルを手作業で検証する。
論文 参考訳（メタデータ） (2025-06-02T03:12:13Z) - Cream of the Crop: Harvesting Rich, Scalable and Transferable Multi-Modal Data for Instruction Fine-Tuning [59.56171041796373]
我々は、堅牢で効率的なマルチモーダル・インストラクショナルデータを収集する。
インタラクションスタイルを多様性指標とし、マルチモーダルリッチなスタイルラーを用いてデータインストラクションパターンを識別する。
14のマルチモーダルベンチマークによって検証された10以上の実験環境において、ランダムサンプリング、ベースライン戦略、最先端の選択方法に対する一貫した改善を示す。
論文 参考訳（メタデータ） (2025-03-17T17:11:22Z) - Baichuan-Omni-1.5 Technical Report [78.49101296394218]
Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。
マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。
第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
論文 参考訳（メタデータ） (2025-01-26T02:19:03Z) - MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - On Robustness in Multimodal Learning [75.03719000820388]
マルチモーダル学習は、ビデオ、オーディオ、テキストなどの複数の入力モダリティの学習として定義される。
本稿では,一般的なマルチモーダル表現学習手法の体系的解析を行うためのマルチモーダルロバストネスフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-10T05:02:07Z) - The Volcspeech system for the ICASSP 2022 multi-channel multi-party
meeting transcription challenge [18.33054364289739]
本稿ではICASSP 2022 Multi-channel Multi-party Meeting Transcription (M2MeT) Challengeについて述べる。
トラック1では,クラスタリングに基づく話者ダイアリゼーションシステムを実現するために,いくつかのアプローチを提案する。
トラック2では,コンバータモデルを用いた共同CTCアテンションアーキテクチャを用いたシステムを開発した。
論文 参考訳（メタデータ） (2022-02-09T03:38:39Z) - The RoyalFlush System of Speech Recognition for M2MeT Challenge [5.863625637354342]
本稿では,M2MeTチャレンジにおけるマルチスピーカ自動音声認識(ASR)の追跡のためのRoyalFlushシステムについて述べる。
大規模シミュレーションデータを用いたシリアライズアウトプットトレーニング(SOT)に基づくマルチスピーカASRシステムを採用した。
我々のシステムでは、検証セットでは12.22%の絶対文字誤り率(CER)が、テストセットでは12.11%が削減された。
論文 参考訳（メタデータ） (2022-02-03T14:38:26Z) - Audio-Oriented Multimodal Machine Comprehension: Task, Dataset and Model [51.42415340921237]
我々は2つのモード(音声とテキスト)を融合させる動的モダリティ・イントラモダリティ・アテンション(DIIA)モデルを提案する。
さらに,マルチモーダルMCモデルを用いて,テキストや音声のみに基づいて,回答を正確に予測できるマルチモーダル知識蒸留(MKD)モジュールを開発した。
論文 参考訳（メタデータ） (2021-07-04T08:35:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。