論文の概要: Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming

• arxiv url: http://arxiv.org/abs/2606.10675v1
• Date: Tue, 09 Jun 2026 10:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.444345
• Title: Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming
• Title（参考訳）: 自己教師付き表現と動的プログラミングを学習した多言語単語レベル強制アライメント
• Authors: Roy Weber, Meidan Zehavi, Rotem Rousso, Joseph Keshet,
• Abstract要約: 本稿では,アライメントエンコーダと学習アライメントデコーダからなる,高精度な多言語単語レベル強制アライメント手法を提案する。 エンコーダは2つの表現を統合する: 1つはMMSモデルからのもので、もう1つは自己教師型音素境界検出器(UnSupSeg)からのものである。 長い時間的文脈において、それらと融合し、単語境界確率を推定することを学ぶ。 アライメントデコーダは、エンコーダ出力とMMSおよびUnSupSeg表現上のセグメント特徴を組み合わせて最終単語境界を推測する学習された動的プログラミングである。
• 参考スコア（独自算出の注目度）: 8.651679612591758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for accurate multilingual word-level forced alignment, consisting of an alignment encoder and a learned alignment decoder. The encoder integrates two representations: one from the Massively Multilingual Speech (MMS) model and another from a self-supervised phoneme boundary detector (UnSupSeg). It learns to fuse them and to estimate word-boundary probabilities over long temporal contexts. The alignment decoder is a learned dynamic programming that combines encoder outputs with segmental features over the MMS and UnSupSeg representations to infer final word boundaries. Trained iteratively on TIMIT and Buckeye, the proposed approach outperforms Montreal Forced Aligner (MFA) and MMS-based alignment on both datasets. On unseen languages (Dutch, German, and Hebrew), the proposed model achieves performance consistently better than or on par with existing alignment approaches, indicating its potential to scale to 1100+ languages supported by MMS without further training.
• Abstract（参考訳）: 本稿では,アライメントエンコーダと学習アライメントデコーダからなる,高精度な多言語単語レベル強制アライメント手法を提案する。 エンコーダは、MMS(Massively Multilingual Speech)モデルと、UnSupSeg(UnSupSeg)の2つの表現を統合している。 長い時間的文脈において、それらと融合し、単語境界確率を推定することを学ぶ。 アライメントデコーダは、エンコーダ出力とMMSおよびUnSupSeg表現上のセグメント特徴を組み合わせて最終単語境界を推測する学習された動的プログラミングである。 TIMITとBuckeyeで反復的にトレーニングされたこの手法は、モントリオール強制アリグナー(MFA)とMMSベースのアライメントを両データセットで上回る。 未確認言語(オランダ語、ドイツ語、ヘブライ語)では、提案されたモデルは、既存のアライメントアプローチと同等以上のパフォーマンスを実現している。

関連論文リスト

• MMLGNet: Cross-Modal Alignment of Remote Sensing Data using CLIP [21.89022894877594]
  異種リモートセンシングと自然言語のセマンティクスを協調する新しいフレームワークMMLGNetを提案する。 CLIPのトレーニングパラダイムにインスパイアされた我々のアプローチは、高次元リモートセンシングデータと言語誘導解釈のギャップを埋める。
  論文  参考訳（メタデータ） (2026-01-13T10:44:37Z)
• PART: Progressive Alignment Representation Training for Multilingual Speech-To-Text with LLMs [58.2469845374385]
  進歩的アライメント表現訓練(PART)について紹介する。 Partは多段階およびマルチタスクのフレームワークで、言語内のアライメントと言語間のアライメントを分離する。 CommonVoice 15の実験では、Fleurs、Wenetspeech、CoVoST2が、Particleが従来のアプローチを上回ることを示している。
  論文  参考訳（メタデータ） (2025-09-24T03:54:14Z)
• LayAlign: Enhancing Multilingual Reasoning in Large Language Models via Layer-Wise Adaptive Fusion and Alignment Strategy [33.85811169010525]
  LLM(Large Language Model)は、低リソース言語上での最適化性能を示す。 最近のアプローチでは、2つのモデルを接続するトレーニング可能なパラメータを導入することで、LLMと並行して多言語エンコーダを活用している。 すべてのエンコーダ層から表現を統合するフレームワークであるanameを提案する。
  論文  参考訳（メタデータ） (2025-02-17T03:45:03Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
  エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。 既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。 音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T03:06:47Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)
• Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders [5.050654565113709]
  Spoken Language Translationへの現在のエンドツーエンドアプローチは、限られたトレーニングリソースに依存しています。 提案手法は,言語固有のエンコーダデコーダに基づくMultiNMTアーキテクチャを多言語SLTのタスクに拡張する。
  論文  参考訳（メタデータ） (2020-11-02T16:31:14Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。