論文の概要: Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization
- arxiv url: http://arxiv.org/abs/2610.13440v1
- Date: Fri, 09 Oct 2026 11:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.556239
- Title: Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization
- Title（参考訳）: DistilHuBERTによるアクセント分類の再検討:話者結合評価とクロスコーパス一般化
- Abstract要約: 近年のアクセント分類システムは, 標準コーパス評価において高い精度を実現することができる。
話者がトレーニングとテストセットの間に重複する場合、そのような結果はモデルの堅牢性を過大評価する可能性がある。
本研究では、L2-ARCTICと複数の外部英語アクセントデータセットを用いて、DistilHuBERTに基づくアクセント分類の堅牢性を再検討する。
- 参考スコア（独自算出の注目度）: 8.07083975618434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent accent classification systems can achieve high accuracy in standard in-corpus evaluations. However, when speakers overlap between the training and test sets, such results may overestimate model robustness compared with real-world deployment scenarios. This study revisits the robustness of DistilHuBERT-based accent classification by using L2-ARCTIC and multiple external English accent datasets. The comparison covers file-level and speaker-disjoint splits, along with balanced external-data training and teacher-student pseudo-labeling. The large performance gap between in-corpus and external evaluations suggests that file-level evaluation substantially overestimates performance, while speaker-disjoint evaluation can provide a more realistic estimate of the generalization to unseen speakers. In this study, models trained on external data alone do not reliably generalize to L2-ARCTIC. Among the tested configurations, balanced external-data training offers the most promising supervised setting. The pseudo-labeling experiments further indicate that confidence-based filtering alone is insufficient under domain mismatch. Overall, this study suggests that robust accent classification evaluation should simultaneously include speaker-disjoint evaluation and cross-corpus testing.
- Abstract（参考訳）: 近年のアクセント分類システムは, 標準コーパス評価において高い精度を実現することができる。
しかし、話者がトレーニングとテストセットの間に重複する場合、そのような結果は実際のデプロイメントシナリオと比較してモデルロバストさを過大評価する可能性がある。
本研究では、L2-ARCTICと複数の外部英語アクセントデータセットを用いて、DistilHuBERTに基づくアクセント分類の堅牢性を再検討する。
比較対象は、ファイルレベルと話者差分と、バランスの取れた外部データトレーニングと教師/学生の擬似ラベルである。
コーパス内と外部評価間の大きな性能差は、ファイルレベルの評価が性能を著しく過大評価することを示しているが、話者の不随意評価は、見当たらない話者に対するより現実的な一般化の見積もりを提供する。
本研究では,外部データだけで訓練されたモデルはL2-ARCTICに確実に一般化されない。
テストされた構成の中で、バランスの取れた外部データトレーニングが最も有望な教師付き設定を提供する。
疑似ラベル実験は、信頼に基づくフィルタリングだけではドメインミスマッチでは不十分であることを示している。
本研究は, 頑健なアクセント分類評価には, 話者分離評価とクロスコーパステストを同時に含むべきであることを示唆する。
関連論文リスト
- AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following [17.52339026461815]
本稿では,複雑な音声キャプションを可変個の独立した検証可能なバイナリルーブリックアイテムに適応的に分解する動的ルーブリック評価パラダイムを提案する。
我々はこの能力をAnyAudio-Judge Benchでベンチマークする。
実験により、AnyAudio-Judgeは、最先端のベースラインに比べて、ゼロショットアライメントの検出を著しく向上する。
論文 参考訳（メタデータ） (2026-06-02T04:00:32Z) - SpurAudio: A Benchmark for Studying Shortcut Learning in Few-Shot Audio Classification [4.791940743080381]
FSC(Few-shot Classification)は限られたラベル付きデータから学習するために広く用いられているが、ほとんどの評価では、ターゲット概念は文脈的手がかりとは無関係であると暗黙的に仮定している。
実世界の設定では、サンプルはリッチなコンテキストにしばしば現れ、モデルが前景のコンテンツと背景の信号の間の刺激的な相関を活用できる。
SpurAudioは、音声における前景イベントと背景環境の自然な分離性を利用して、サポートとクエリセット間のコンテキストシフトの制御されたマルチレベル評価を可能にするベンチマークである。
論文 参考訳（メタデータ） (2026-05-13T15:32:57Z) - Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
大規模音声言語モデル(LALM)のMIA評価について述べる。
テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。
以上の結果から, LALM検査の基準基準が確立された。
論文 参考訳（メタデータ） (2026-03-30T12:45:28Z) - AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。
AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
論文 参考訳（メタデータ） (2026-01-21T07:35:36Z) - On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。
本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-09T22:01:56Z) - Automatic Proficiency Assessment in L2 English Learners [51.652753736780205]
英語の第二言語習熟度(L2)は通常、英語の教師や専門家の評価者によって知覚的に評価される。
本稿では, 音声信号と対応文字の双方に対処し, 総合的なL2習熟度評価のための深層学習手法について検討する。
論文 参考訳（メタデータ） (2025-05-05T12:36:03Z) - $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction [80.57232374640911]
我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。
MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。
各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
論文 参考訳（メタデータ） (2025-04-01T13:01:30Z) - NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom [0.0]
ブラジルの学生を対象にしたクローゼテストのデータを用いて,ブラジルポルトガル語(PT-BR)のWEモデルを用いて意味的類似度を測定した。
WEモデルのスコアと審査員の評価を比較した結果,GloVeが最も効果的なモデルであることが判明した。
論文 参考訳（メタデータ） (2024-11-02T15:22:26Z) - Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [65.8478860180793]
イベント抽出は広範囲の応用により、広範囲の研究が注目されている。
イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。
イベント抽出のための信頼性とセマンティックな評価フレームワークであるRAEEを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:54:01Z) - Estimating Confidence of Predictions of Individual Classifiers and Their
Ensembles for the Genre Classification Task [0.0]
Genre IDは、非トピックテキスト分類のサブクラスである。
BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
論文 参考訳（メタデータ） (2022-06-15T09:59:05Z) - Self-supervised Speaker Diarization [19.111219197011355]
本研究では、話者ダイアリゼーションのための教師なしディープラーニングモデルを提案する。
話者埋め込みは、同一話者と推定される隣接セグメントのペアを使用して、自己教師付きで訓練されたエンコーダによって表現される。
論文 参考訳（メタデータ） (2022-04-08T16:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。