論文の概要: Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
- arxiv url: http://arxiv.org/abs/2608.29239v1
- Date: Sat, 29 Aug 2026 12:52:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.896615
- Title: Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
- Title（参考訳）: セマンティックスによる音声のアンカリング:低音源言語における音声認識のためのマルチモーダル適応機構
- Abstract要約: デコーダを補助翻訳のセマンティックアンカーと音声の音響アンカーで強化する、軽量なアダプタ機構。
SAMA-ASRは、翻訳に基づくセマンティック埋め込みと音声埋め込みを記述し、発話レベルの意味と、トークン予測の前に音声による根拠を組み合わせる。
台湾のホッキエンとハッカは、低資源のシナイト品種を対象とする2つの30時間データセットの実験を行い、SAMA-ASRは音響的、事前のプロンプトベース、意味のみの翻訳誘導ベースラインよりも改善していることを示した。
- 参考スコア（独自算出の注目度）: 21.20778568616635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-resource ASR remains difficult because scarce transcripts provide limited supervised evidence for target-side generation. To address this gap, we propose SAMA-ASR, a lightweight adapter mechanism that augments the decoder with semantic anchors from auxiliary translations and an acoustic anchor from speech; in principle, the mechanism can be applied to similar encoder--decoder multitask speech models. Through cross-modal adaptation, SAMA-ASR conditions decoder states on translation-derived semantic embeddings and a speech embedding, combining utterance-level meaning with speech-grounded evidence before token prediction. At evaluation time, these semantic anchors can be generated automatically by an upstream speech-to-text translator rather than supplied as oracle translations. Experiments on two 30-hour datasets covering the low-resource Sinitic varieties Taiwanese Hokkien and Hakka show that SAMA-ASR improves over acoustic, prior prompt-based, and semantic-only translation-guided baselines and remains effective in practical automatic semantic-anchor settings; translator-capacity analyses show that useful semantic anchors can be produced by a compact ST model.
- Abstract（参考訳）: 低リソースのASRは、少ない転写文字がターゲット側の生成を監督する限られた証拠を提供するため、依然として困難である。
このギャップに対処するため、SAMA-ASRは、補助翻訳からのセマンティックアンカーと音声からのアコースティックアンカーでデコーダを増強する軽量なアダプタ機構であり、原理的には、同様のエンコーダ-デコーダマルチタスク音声モデルに適用できる。
クロスモーダル適応により、SAMA-ASR条件デコーダは、翻訳由来のセマンティック埋め込みと音声埋め込みを記述し、発話レベルの意味とトークン予測前の音声基底による証拠を組み合わせる。
評価時には、これらのセマンティックアンカーは、オラクル翻訳として供給されるのではなく、上流の音声からテキストへの翻訳によって自動的に生成される。
台湾のホッキエンとハッカは、低資源のシナイト品種をカバーする2つの30時間データセットの実験を行い、SAMA-ASRは音響、事前のプロンプトベース、意味のみの翻訳誘導ベースラインよりも改善し、実用的な自動セマンティックアンカー設定に有効であることを示した。
関連論文リスト
- TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。
TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。
本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
論文 参考訳（メタデータ） (2026-03-12T18:13:48Z) - TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding [15.908533215017059]
本稿では,テンポラルアンカーグラウンドを用いた統合フレームワークTagSpeechについて述べる。
本フレームワークは,(1)SOT(Serialized Output Training)を用いて微調整されたセマンティックストリームと話者ストリームを分離してターンテイクダイナミクスを学習し,(2)セマンティック理解と話者追跡の同期信号として機能するインターリーブ時間アンカー機構である。
論文 参考訳（メタデータ） (2026-01-11T12:40:07Z) - Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion [7.505518573248786]
我々は深層学習の時代に音声情報を再考する。
本稿では,音声認識モデルに対する補助的タスクと擬似インプットの両方として,調音表現を利用するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-01T21:07:29Z) - New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR [30.00166986946003]
我々は、アライメントとマッチングを検出問題とみなすために、新たな洞察を得る。
目標は、高精度で意味のある対応を識別し、言語トークンの完全なカバレッジを確保することである。
分布ミスマッチと構造的非対称性を明示的に扱う不均衡な輸送ベースアライメントモデルを提案する。
論文 参考訳（メタデータ） (2025-09-06T05:58:52Z) - LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。
新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。
LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
論文 参考訳（メタデータ） (2025-06-20T04:15:14Z) - MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。
本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-27T09:01:08Z) - VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。
本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
論文 参考訳（メタデータ） (2024-08-11T12:24:23Z) - On decoder-only architecture for speech-to-text and large language model
integration [59.49886892602309]
Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。
我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
論文 参考訳（メタデータ） (2023-07-08T06:47:58Z) - LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and
Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。
ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文 参考訳（メタデータ） (2022-11-05T04:03:55Z) - Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。
本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。
提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
論文 参考訳（メタデータ） (2022-03-30T21:42:00Z) - Segmenting Subtitles for Correcting ASR Segmentation Errors [11.854481771567503]
低リソース言語に対するASRモデルの音響的セグメンテーションを補正するモデルを提案する。
ASRアコースティックセグメンテーションを補正するためのニューラルネットワークタギングモデルをトレーニングし、下流のパフォーマンスを改善することを示します。
論文 参考訳（メタデータ） (2021-04-16T03:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。