論文の概要: Face-voice Association across LAnguages and Gender (FLAG) 2027 Challenge Evaluation Plan
- arxiv url: http://arxiv.org/abs/2609.17913v1
- Date: Tue, 15 Sep 2026 23:15:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.570426
- Title: Face-voice Association across LAnguages and Gender (FLAG) 2027 Challenge Evaluation Plan
- Title（参考訳）: LANguages and Gender (FLAG) 2027 チャレンジ評価計画
- Abstract要約: フェース・ボイス・アソシエーション・モデルは、話者固有の声の特徴よりも、音声における言語やジェンダーの手がかりに依存することがある。
本稿ではLAnguages and Gender (FLAG) 2027 Challengeを紹介する。
- 参考スコア（独自算出の注目度）: 22.25681308135488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Face--voice association models may rely on language or gender cues in the voice rather than on speaker-specific voice characteristics, which can lead to a performance deterioration when the model has to identify a multilingual speaker or distinguis same-gender speakers. To investigate these issues, we introduce the Face-voice Association across LAnguages and Gender (FLAG) 2027 Challenge. The challenge formulates face--voice association as a cross-modal verification task: given a voice, identify the speaker's face from a ``gallery'' of faces consisting of the speaker's face and a set of negative samples. Models are evaluated on identities not present in the training data (``unseen'') and both for languages present or absent from the training data (``heard'' and ``unheard''). Two evaluation settings are used to test models' reliance on gender: a standard, unconstrained and a gender-constrained one, where the latter uses a same-gender gallery. The performance of existing, baseline models in these settings reveals that models performance degrades under language shifts and in gender-constrained settings, highlighting the need to foster the development of models that capture identity-specific aspects beyond language and gender. The challenge provides a benchmark dataset, pretrained baseline models, and an evaluation framework to advance face--voice association.
- Abstract（参考訳）: フェース・ボイス・アソシエーション・モデルは、話者固有の音声特性よりも、音声における言語やジェンダーの手がかりに依存しており、モデルが多言語話者を識別したり、同一のジェンダー話者を排除したりしなければならない場合、性能が劣化する可能性がある。
これらの課題を調査するため,Languages and Gender (FLAG) 2027 Challenge にまたがるフェイスボイス・アソシエーション(Face-voice Association)を紹介した。
課題は、話者の顔と負のサンプルからなる顔の「ギャリー」から話者の顔を識別する。
モデルはトレーニングデータ(``heard'' と ``unheard'' )に存在しないアイデンティティに基づいて評価され、トレーニングデータ(``heard' と ``unheard'' )に存在しない言語について評価される。
2つの評価設定は、モデルが性別に依存しているかどうかをテストするために使用される。
これらの設定における既存のベースラインモデルのパフォーマンスは、言語シフトや性別制約のある設定下でのパフォーマンスが低下していることを示し、言語や性別を超えたアイデンティティ固有の側面をキャプチャするモデルの開発を促進する必要性を強調している。
この課題は、ベンチマークデータセット、事前トレーニングされたベースラインモデル、および対面音声アソシエーションを前進させるための評価フレームワークを提供する。
関連論文リスト
- Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models [23.501699222486412]
既存のブラックボックスメンバシップ推論攻撃(MIA)は、テキスト音声(TTS)モデルに適応する際、ユニークな課題に直面している。
話者レベルと記録レベルの両方において、TSモデルに明示的に適合した最初のブラックボックスMIAフレームワークを提示する。
論文 参考訳（メタデータ） (2026-09-01T18:00:45Z) - Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos [79.03150233804458]
現実のイメージは人種と性別を混在させ、背景や衣服などの関連要因や属性を隠蔽する。
テキストのみの対実的評価パラダイムを提案する。
我々は、人種や性別に関連する顔属性のみを編集し、他の視覚的要素を全て固定することで、反事実的変異を生成する。
論文 参考訳（メタデータ） (2026-01-11T14:35:06Z) - On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。
本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-09T22:01:56Z) - Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation [25.126933196101703]
本稿では,STモデルを用いて3つの言語対にまたがる話者参照語に性別を割り当てるメカニズムについて検討する。
モデルは、訓練データから用語固有の性関係を再現するだけでなく、男性における有病率のより広範なパターンを学習する。
コントラスト的特徴属性をスペクトログラムに用いて, 性別の精度が高いモデルは, 以前は未知のメカニズムに依存していたことが明らかとなった。
論文 参考訳（メタデータ） (2025-11-26T15:48:04Z) - Speak Your Mind: The Speech Continuation Task as a Probe of Voice-Based Model Bias [24.932603485660323]
音声継続 (SC) は、意味的文脈と話者識別を保ちながら、音声プロンプトのコヒーレントな拡張を生成するタスクである。
本研究は,性差と発声タイプが継続行動にどのように影響するかを調査し,SCにおけるバイアスの最初の体系的評価を行った。
論文 参考訳（メタデータ） (2025-09-26T08:43:25Z) - TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。
TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。
TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
論文 参考訳（メタデータ） (2025-08-19T08:31:15Z) - Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM [4.12691471378072]
本研究では,話者配置をバイアス調査の分析ツールとして活用する手法を提案する。
我々は、テキスト・トゥ・スペーチ(TTS)モデルであるBarkを評価し、テキスト・プロンプトのデフォルト話者代入を分析した。
バークの話者選択がジェンダー付き連想と体系的に一致している場合、トレーニングデータやモデルデザインのパターンを明らかにする可能性がある。
論文 参考訳（メタデータ） (2025-08-19T08:10:55Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - How To Build Competitive Multi-gender Speech Translation Models For
Controlling Speaker Gender Translation [21.125217707038356]
発音性言語から文法性言語に翻訳する場合、生成された翻訳は、話者を参照する者を含む様々な単語に対して、明確なジェンダー代入を必要とする。
このような偏見や包括的行動を避けるために、話者の性別に関する外部から提供されたメタデータによって、話者関連表現の性別割当を導出すべきである。
本稿では、話者のジェンダーメタデータを単一の「マルチジェンダー」ニューラルSTモデルに統合し、維持しやすくすることで、同じ結果を達成することを目的とする。
論文 参考訳（メタデータ） (2023-10-23T17:21:32Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳（メタデータ） (2021-10-31T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。