論文の概要: Learning Speaker Identity Beyond Language and Modality Constraints: Insights from the POLY-SIM 2026 Challenge
- arxiv url: http://arxiv.org/abs/2607.13669v1
- Date: Wed, 15 Jul 2026 10:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.741114
- Title: Learning Speaker Identity Beyond Language and Modality Constraints: Insights from the POLY-SIM 2026 Challenge
- Title（参考訳）: 言語とモダリティ制約を超えた話者識別の学習:Poly-SIM 2026 Challengeからの考察
- Abstract要約: マルチモーダル話者識別システムは、トレーニングとテストの両方において、完全かつ均質なオーディオ・ビジュアル・モダリティが利用可能であると仮定する。
しかし、そのような仮定は現実世界の応用には当てはまらないことが多い。
- 参考スコア（独自算出の注目度）: 26.551250642046764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal speaker identification systems typically assume the availability of complete and homogeneous audio-visual modalities during both training and testing, and assume each speaker only speaks a single language. However, in real-world applications, such assumptions often do not hold. Visual or audio information may be missing due to occlusions, camera or microphone failures, or privacy constraints. Multilingual speakers introduce additional complexity due to linguistic variability across languages. These situations constitute substantial challenges for the robustness and generalization capabilities of multimodal speaker identification systems. Aim of the POLY-SIM 2026 challenge is to address these aspects of speaker identification and to provide a standardized setup for the comparison of the proposed solutions.
- Abstract（参考訳）: マルチモーダル話者識別システムは、トレーニングとテストの両方において、完全かつ均質なオーディオ・ビジュアル・モダリティが利用可能であると仮定し、各話者が単一の言語のみを話すと仮定する。
しかし、現実世界の応用においては、そのような仮定はしばしば成り立たない。
視覚情報やオーディオ情報は、隠蔽、カメラやマイクの故障、プライバシーの制約によって失われる可能性がある。
多言語話者は言語間の言語的変動により、さらなる複雑さをもたらす。
これらの状況は、マルチモーダル話者識別システムの堅牢性と一般化能力において重大な課題となっている。
POLY-SIM 2026チャレンジの目的は、話者識別のこれらの側面に対処し、提案したソリューションの比較のための標準化されたセットアップを提供することである。
関連論文リスト
- From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios [68.14493981116665]
人間は、近くの会話から競合するスピーチをフィルタリングしながら、個々の話者に選択的に出席する能力を持つ。
この「カクテルパーティー」のシナリオは、音声認識システムに深刻な課題を呈している。
CHiME-9 MCoRecタスクは、システムが話者のグループを認識し、各会話を音声視覚入力から書き起こさなければならないテストベッドを提供する。
論文 参考訳（メタデータ） (2026-08-09T06:11:38Z) - L-Proto: Language-Aware Episodic Prototypical Training for Multilingual Speaker Verification [49.128847336227636]
本稿では,L-Protoを提案する。
TidyVoice Challengeベンチマークの実験では、従来の微調整およびランダムなエピソードサンプリングよりも一貫した性能向上が示されている。
論文 参考訳（メタデータ） (2026-06-16T01:57:41Z) - MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。
この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。
本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2026-04-17T10:39:01Z) - POLY-SIM: Polyglot Speaker Identification with Missing Modality Grand Challenge 2026 Evaluation Plan [27.26463956543086]
Poly-SIM Grand Challenge 2026は、欠落したモダリティと言語間の条件下でのマルチモーダル話者識別の研究を進めることを目的としている。
特に、グランドチャレンジは、異なる言語間で強いパフォーマンスを維持しながら、不完全なマルチモーダル入力を効果的に活用できる方法の開発を奨励する。
論文 参考訳（メタデータ） (2026-03-25T17:47:00Z) - Face-voice Association in Multilingual Environments (FAME) 2026 Challenge Evaluation Plan [24.480174322626155]
フェース・ボイス・アソシエーション・イン・マルチリンガル・アソシエーション(FAME) 2026 Challengeは、マルチリンガル・シナリオの下でのフェース・ボイス・アソシエーションの探求に焦点を当てている。
本報告では、FAME Challengeの課題、データセット、ベースラインモデル、タスクの詳細について説明する。
論文 参考訳（メタデータ） (2025-08-06T16:09:47Z) - MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。
具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。
10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
論文 参考訳（メタデータ） (2025-07-14T23:20:42Z) - LASPA: Language Agnostic Speaker Disentanglement with Prefix-Tuned Cross-Attention [2.199918533021483]
アクセント、音声解剖学、言語音声構造などの声質特性の重複は、言語情報と話者情報の分離を複雑にする。
これらのコンポーネントの分離は、話者認識の精度を大幅に向上させる。
そこで本稿では,接頭辞付きクロスアテンションを通じて共同学習を統合する,新しい非絡み合い学習戦略を提案する。
論文 参考訳（メタデータ） (2025-06-02T10:59:31Z) - Face-voice Association in Multilingual Environments (FAME) Challenge 2024 Evaluation Plan [29.23176868272216]
フェース・ボイス・アソシエーション・イン・マルチ言語環境(FAME)チャレンジ2024は,多言語シナリオのユニークな条件下でのフェース・ボイス・アソシエーションの探求に焦点を当てている。
本報告では、FAME Challengeの課題、データセット、ベースライン、タスクの詳細について説明する。
論文 参考訳（メタデータ） (2024-04-14T19:51:32Z) - Findings of the 2023 ML-SUPERB Challenge: Pre-Training and Evaluation over More Languages and Beyond [87.4049283495551]
2023年のMultilingual Speech Universal Performance Benchmark (ML-SUPERB) Challengeは、宣言されたSUPERBフレームワークに拡張される。
この挑戦は12のモデル提出と54の言語コーパスを集め、154の言語を含む包括的なベンチマークをもたらした。
この結果は、単にスケーリングモデルが多言語音声タスクにおける決定的な解決策ではないことを示唆している。
論文 参考訳（メタデータ） (2023-10-09T08:30:01Z) - Investigating on Incorporating Pretrained and Learnable Speaker
Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。
FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
論文 参考訳（メタデータ） (2021-03-06T10:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。