論文の概要: New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR

• arxiv url: http://arxiv.org/abs/2509.05609v1
• Date: Sat, 06 Sep 2025 05:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.611277
• Title: New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR
• Title（参考訳）: ASRにおける知識伝達のための音響・言語表現の最適アライメントに関する新しい考察
• Authors: Xugang Lu, Peng Shen, Yu Tsao, Hisashi Kawai,
• Abstract要約: 我々は、アライメントとマッチングを検出問題とみなすために、新たな洞察を得る。 目標は、高精度で意味のある対応を識別し、言語トークンの完全なカバレッジを確保することである。 分布ミスマッチと構造的非対称性を明示的に扱う不均衡な輸送ベースアライメントモデルを提案する。
• 参考スコア（独自算出の注目度）: 30.00166986946003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning acoustic and linguistic representations is a central challenge to bridge the pre-trained models in knowledge transfer for automatic speech recognition (ASR). This alignment is inherently structured and asymmetric: while multiple consecutive acoustic frames typically correspond to a single linguistic token (many-to-one), certain acoustic transition regions may relate to multiple adjacent tokens (one-to-many). Moreover, acoustic sequences often include frames with no linguistic counterpart, such as background noise or silence may lead to imbalanced matching conditions. In this work, we take a new insight to regard alignment and matching as a detection problem, where the goal is to identify meaningful correspondences with high precision and recall ensuring full coverage of linguistic tokens while flexibly handling redundant or noisy acoustic frames in transferring linguistic knowledge for ASR. Based on this new insight, we propose an unbalanced optimal transport-based alignment model that explicitly handles distributional mismatch and structural asymmetries with soft and partial matching between acoustic and linguistic modalities. Our method ensures that every linguistic token is grounded in at least one acoustic observation, while allowing for flexible, probabilistic mappings from acoustic to linguistic units. We evaluate our proposed model with experiments on an CTC-based ASR system with a pre-trained language model for knowledge transfer. Experimental results demonstrate the effectiveness of our approach in flexibly controlling degree of matching and hence to improve ASR performance.
• Abstract（参考訳）: 音響および言語表現の調整は、自動音声認識(ASR)のための知識伝達において、事前訓練されたモデルをブリッジする中心的な課題である。 このアライメントは本質的に構造化され非対称であり、複数の連続する音響フレームは単一の言語トークン(多対一)に対応するのに対し、特定の音響遷移領域は複数の隣接トークン(一対多)に関連付けられる。 さらに、背景雑音やサイレントのような言語に相反しないフレームを含む音響シーケンスは、不均衡なマッチング条件につながる可能性がある。 そこで本研究では,ASRの言語知識の伝達において,冗長性やノイズの少ない音響フレームを柔軟に扱いながら,高精度で意味のある対応を識別し,言語トークンの完全なカバレッジを確保することを目的としている。 この新たな知見に基づいて,分布ミスマッチと構造的非対称性を音響的・言語的モダリティ間のソフトかつ部分的マッチングで明示的に処理する,不均衡な最適輸送ベースアライメントモデルを提案する。 提案手法は,各言語トークンが少なくとも1つの音響観測において基礎付けられていることを保証するとともに,音響単位から言語単位への柔軟で確率的なマッピングを可能にする。 我々は、知識伝達のための事前学習言語モデルを用いたCTCベースのASRシステムの実験により、提案モデルの評価を行った。 実験により,マッチングの度合いを柔軟に制御し,ASR性能を向上させるためのアプローチの有効性が示された。

関連論文リスト

• Towards Inclusive Communication: A Unified LLM-Based Framework for Sign Language, Lip Movements, and Audio Understanding [52.859261069569165]
  音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。 i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-28T06:51:42Z)
• Text-Queried Audio Source Separation via Hierarchical Modeling [53.94434504259829]
  本研究では,HSM-TSSという階層的分解フレームワークを提案し,そのタスクをグローバルな意味誘導特徴分離と構造保存音響再構成に分解する。 Q-Audioアーキテクチャは、事前訓練されたグローバルセマンティックエンコーダとして機能するオーディオとテキストのモダリティを調整するために使用される。 本手法は,複雑な聴覚シーンにおけるクエリとのセマンティック一貫性を保ちながら,データ効率のトレーニングによる最先端の分離性能を実現する。
  論文  参考訳（メタデータ） (2025-05-27T11:00:38Z)
• MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
  話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。 本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T09:01:08Z)
• Temporal Order Preserved Optimal Transport-based Cross-modal Knowledge Transfer Learning for ASR [36.250914527327005]
  事前訓練された言語モデルから音響モデルに言語知識を移すことにより,音声認識の性能を大幅に向上させることが示されている。 ASRのための時間順序保存OT(TOT)に基づくクロスモーダルアライメント・アンド・ナレッジ・トランスファー(CAKT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T19:11:15Z)
• Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model [13.572330725278066]
  提案手法の新たなポイントは、大量のデータで訓練された音声表現から組込みベクトルを得るためにSSLモデルを直接利用することである。 この不整合埋め込みにより、未知話者の再生性能が向上し、異なる音声によるリズム伝達が実現される。
  論文  参考訳（メタデータ） (2023-04-24T10:15:58Z)
• Supervised Acoustic Embeddings And Their Transferability Across Languages [2.28438857884398]
  音声認識においては、話者変動や雑音など無関係な要因を排除しつつ、入力信号の音声内容のモデル化が不可欠である。 自己教師付き事前学習は、教師付き音声認識と教師なし音声認識の両方を改善する方法として提案されている。
  論文  参考訳（メタデータ） (2023-01-03T09:37:24Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Statistical Context-Dependent Units Boundary Correction for Corpus-based Unit-Selection Text-to-Speech [1.4337588659482519]
  本稿では, 分割の精度を向上させるために, 単位選択テキスト音声(TTS)システムに適用するための, 話者適応のための革新的な手法を提案する。 従来の話者適応手法とは違って,言語分析手法を応用した文脈依存特性のみの利用を目標としている。
  論文  参考訳（メタデータ） (2020-03-05T12:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。