論文の概要: Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion

• arxiv url: http://arxiv.org/abs/2510.08585v1
• Date: Wed, 01 Oct 2025 21:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 05:23:07.116883
• Title: Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
• Title（参考訳）: 調音インフォームドASR:補助音声インバージョンとクロスアテンション融合による調音特徴のASRへの統合
• Authors: Ahmed Adel Attia, Jing Liu, Carol Espy Wilson,
• Abstract要約: 我々は深層学習の時代に音声情報を再考する。 本稿では,音声認識モデルに対する補助的タスクと擬似インプットの両方として,調音表現を利用するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.505518573248786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior works have investigated the use of articulatory features as complementary representations for automatic speech recognition (ASR), but their use was largely confined to shallow acoustic models. In this work, we revisit articulatory information in the era of deep learning and propose a framework that leverages articulatory representations both as an auxiliary task and as a pseudo-input to the recognition model. Specifically, we employ speech inversion as an auxiliary prediction task, and the predicted articulatory features are injected into the model as a query stream in a cross-attention module with acoustic embeddings as keys and values. Experiments on LibriSpeech demonstrate that our approach yields consistent improvements over strong transformer-based baselines, particularly under low-resource conditions. These findings suggest that articulatory features, once sidelined in ASR research, can provide meaningful benefits when reintroduced with modern architectures.
• Abstract（参考訳）: 先行研究は,音声認識のための補完的表現としての調音特徴の使用について検討してきたが,その使用は浅部音響モデルに限られていた。 本研究では,ディープラーニング時代の音声情報を再考し,音声認識モデルに対する補助的タスクと擬似入力の両方を活用可能なフレームワークを提案する。 具体的には、音声のインバージョンを補助的予測タスクとして使用し、予測された調音特徴を、キーと値として音響埋め込みを付加したクロスアテンションモジュールのクエリストリームとしてモデルに注入する。 LibriSpeechの実験により、この手法は、特に低リソース条件下で、強力なトランスフォーマーベースラインよりも一貫した改善をもたらすことが示された。 これらの知見は, ASR 研究にかつて傍観されていた調音的特徴が, 近代建築に再導入する上で有意義な利益をもたらすことを示唆している。

関連論文リスト

• AURORA: Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation [113.75682363364004]
  AURORAは、参照音声視覚セグメント化における真の推論と言語理解を強化するために設計されたフレームワークである。 AURORAはRef-AVSベンチマークの最先端性能を達成し、非参照セグメンテーションに効果的に一般化する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:38Z)
• Echoes of Phonetics: Unveiling Relevant Acoustic Cues for ASR via Feature Attribution [19.32372029477596]
  本稿では,現代コンフォーマーを用いたASRシステムにおいて,関連する音響的手がかりを特定するために,特徴属性手法を適用した。 発声音, 摩擦音, 母音を解析することにより, 特徴属性が時間領域と周波数領域の音響特性とどのように一致しているかを評価する。
  論文  参考訳（メタデータ） (2025-06-02T19:11:16Z)
• AV-RIR: Audio-Visual Room Impulse Response Estimation [49.469389715876915]
  室内インパルス応答(RIR)の正確な推定は,音声処理やAR/VR応用において重要である。 本稿では,与えられた残響音声信号と対応する環境の視覚的手がかりからRIRを正確に推定する,新しいマルチモーダルマルチタスク学習手法であるAV-RIRを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:58:30Z)
• Improved Contextual Recognition In Automatic Speech Recognition Systems By Semantic Lattice Rescoring [4.819085609772069]
  本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。 提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。 本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-14T23:16:05Z)
• Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation [83.36685075570232]
  本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。 我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。 TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
  論文  参考訳（メタデータ） (2023-07-23T05:39:39Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• ASR-Aware End-to-end Neural Diarization [15.172086811068962]
  本稿では、音響入力と自動音声認識(ASR)モデルから得られる特徴の両方を用いて、コンフォーマーに基づくエンドツーエンドニューラルダイアリゼーション(EEND)モデルを提案する。 この機能を組み込むために、ConformerベースのEENDアーキテクチャの3つの変更が提案されている。 Switchboard+SREデータセットの2つの話者による英語会話実験により、単語位置情報を用いたマルチタスク学習がASR特徴を利用する最も効果的な方法であることが示された。
  論文  参考訳（メタデータ） (2022-02-02T21:17:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。