論文の概要: Multi-Task Learning for Non-Canonical Phoneme Recognition via Articulatory Feature Decomposition
- arxiv url: http://arxiv.org/abs/2608.22273v1
- Date: Sun, 23 Aug 2026 08:03:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.691708
- Title: Multi-Task Learning for Non-Canonical Phoneme Recognition via Articulatory Feature Decomposition
- Title(参考訳): 調音特徴分解によるノンカノニカル音素認識のためのマルチタスク学習
- Abstract要約: 病的・より広範に非標準音声は自動音素認識に重大な課題を呈する。
既存の音素認識システムは典型的には標準音声で訓練され、音素を原子分類ラベルとして扱う。
音素予測を音声特徴量に分解する非標準音素認識に言語的に構造化したアプローチを導入する。
- 参考スコア(独自算出の注目度): 1.0737260344472548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pathological and more broadly non-canonical speech present significant challenges for automatic phoneme recognition due to systematic deviations from canonical pronunciation and limited availability of labeled clinical speech data. Existing phoneme recognition systems are typically trained on canonical speech and treat phonemes as atomic categorical labels, limiting their ability to detect structured articulatory errors common in speech disorders and accents. In this work, we introduce a linguistically structured approach to non-canonical phoneme recognition that decomposes phoneme prediction into articulatory feature dimensions such as manner, place, and voicing. We implement this formulation using a hierarchical multi-task learning architecture in which task-specific articulatory feature heads learn feature-level representations that are subsequently integrated through a cross-attention-based fusion module to produce phoneme predictions. To address the scarcity and noise of pathological speech labels, we combine this framework with semi-supervised learning via Momentum Pseudo-Labeling (MPL) and propose a cascaded training strategy that progressively introduces articulatory feature tasks while employing staged unfreezing of a pretrained speech encoder. Experiments on L2-ARCTIC, used as a proxy for pathological speech variation, show that the proposed approach achieves substantial improvements in phoneme recognition performance compared to strong baseline architectures, while yielding interpretable error patterns aligned with phonological feature structure. These results suggest that articulatory feature supervision is a promising strategy for robust and interpretable phoneme recognition in non-canonical speech, and motivate future validation on clinically diagnosed pathological speech datasets.
- Abstract(参考訳): 病的およびより広範に非標準音声は、標準発音からの体系的逸脱とラベル付き臨床音声データの限定的利用による自動音素認識に重大な課題を呈している。
既存の音素認識システムは、通常、標準音声で訓練され、音素をアトミックな分類ラベルとして扱い、音声障害やアクセントで一般的な構造的調音誤りを検出する能力を制限する。
本研究では,非標準音素認識に対して言語的に構造化されたアプローチを導入し,音素予測を調音的特徴次元(方法,場所,発声など)に分解する。
この定式化は階層型マルチタスク学習アーキテクチャを用いて行われ、タスク固有の特徴頭部は、その後、相互注意に基づく融合モジュールを通じて統合された特徴レベルの表現を学習し、音素予測を生成する。
病的音声ラベルの希少さと雑音に対処するため,この枠組みをMomentum Pseudo-Labeling (MPL) による半教師付き学習と組み合わせ,事前訓練された音声エンコーダの段階的凍結を利用して,段階的に調音機能タスクを導入するケースドトレーニング戦略を提案する。
L2-ARCTICは, 音韻特徴構造に整合した解釈可能な誤りパターンを導出しながら, 強いベースラインアーキテクチャと比較して, 音素認識性能を大幅に向上することを示す。
これらの結果から, 調音的特徴監督は, 非標準音声における頑健かつ解釈可能な音素認識のための有望な戦略であり, 臨床的に診断された病的音声データセットに対する将来的な検証を動機づけることが示唆された。
関連論文リスト
- INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval [53.79335341504602]
INSPIREは命令対応音声検索のための最初のベンチマークである。
我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
論文 参考訳(メタデータ) (2026-08-17T07:35:18Z) - Speech Codec Probing from Semantic and Phonetic Perspectives [49.01048570474675]
音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。
新たな証拠は、音声表現において「意味」と呼ばれるものは、テキスト由来の意味論と一致しないことを示している。
論文 参考訳(メタデータ) (2026-03-11T03:32:25Z) - Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling [22.333214778384487]
変形を伴う神経疾患の流行は、自動的な知能評価方法の必要性を動機付けている。
本稿では,音声認識と言語固有の音素解釈を統合した多言語音素生成評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T03:12:11Z) - Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。
i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
論文 参考訳(メタデータ) (2025-08-28T06:51:42Z) - Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。
テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
論文 参考訳(メタデータ) (2025-05-26T07:21:20Z) - Anomaly Detection and Localization for Speech Deepfakes via Feature Pyramid Matching [8.466707742593078]
音声ディープフェイク(英: Speech Deepfakes)は、ターゲット話者の声を模倣できる合成音声信号である。
音声のディープフェイクを検出する既存の方法は教師あり学習に依存している。
本稿では,音声深度検出を異常検出タスクとして再設定する,新しい解釈可能な一クラス検出フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-23T11:15:22Z) - DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition [12.923409319624254]
変形性音声認識のギャップを埋める動的音素レベルのコントラスト学習(DyPCL)法を提案する。
音声の発話を音素レベルのコントラスト学習のための音素セグメントに分解し、動的接続性時間的分類アライメントを活用する。
難易度による訓練への我々のアプローチは、話者の固有の多様性を軽減し、難易度の高い発話を識別する。
論文 参考訳(メタデータ) (2025-01-31T10:25:42Z) - Deep Neural Convolutive Matrix Factorization for Articulatory
Representation Decomposition [48.56414496900755]
この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。
音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
論文 参考訳(メタデータ) (2022-04-01T14:25:19Z) - Unsupervised Domain Adaptation in Speech Recognition using Phonetic
Features [6.872447420442981]
音声特徴量を用いた音声認識において、教師なし性に基づくドメイン適応を行う手法を提案する。
TIMITデータセット上で実験を行い,提案手法を用いて音素誤り率を著しく低減した。
論文 参考訳(メタデータ) (2021-08-04T06:22:12Z) - Leveraging Acoustic and Linguistic Embeddings from Pretrained speech and
language Models for Intent Classification [81.80311855996584]
本研究では,前訓練された音声認識システムから抽出した音響特性と,前訓練された言語モデルから学習した言語特性を用いた新しい意図分類フレームワークを提案する。
ATIS と Fluent 音声コーパスの精度は 90.86% と 99.07% である。
論文 参考訳(メタデータ) (2021-02-15T07:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。