論文の概要: Fully Differentiable Neural Forced Alignment via Soft Dynamic Programming
- arxiv url: http://arxiv.org/abs/2606.25460v1
- Date: Wed, 24 Jun 2026 06:42:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.248247
- Title: Fully Differentiable Neural Forced Alignment via Soft Dynamic Programming
- Title（参考訳）: ソフトダイナミックプログラミングによる完全微分可能なニューラルフォースアライメント
- Abstract要約: 音素アライメントに特化して設計されたエンドツーエンドの完全微分可能なニューラルアーキテクチャを提案する。
モデルは入力信号を処理するエンコーダとアライメント決定を生成するデコーダで構成される。
提案手法は,手書きの英語ベンチマーク上での音素アライメントの現況を上回り,単語レベルの一般化結果を強く達成し,未知の言語での一般化を実証する。
- 参考スコア（独自算出の注目度）: 10.80225790913545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in sequence modeling have significantly improved ASR systems, bringing them close to human-level recognition accuracy and enhancing robustness across diverse acoustic conditions and languages. In contrast, Forced Alignment has not experienced comparable progress, and traditional HMM-GMM frameworks remain widely adopted and highly competitive. To address this gap, we propose an end-to-end, fully differentiable neural architecture specifically designed for phoneme alignment. The model consists of an encoder that processes the input signal and a decoder that produces alignment decisions. The encoder is structured into two complementary branches: one dedicated to phoneme identity verification and the other to phoneme boundary detection. The decoder is implemented as a trainable module based on differentiable soft dynamic programming. The entire system is optimized end-to-end using a novel contrastive loss that encourages clear separation between steady-state phoneme regions and transition boundaries. The proposed approach outperforms the current state of the art in phoneme alignment on hand-annotated English benchmarks, achieves strong word-level generalization results, and demonstrates generalization on unseen languages.
- Abstract（参考訳）: シーケンスモデリングの最近の進歩は、ASRシステムを大幅に改善し、人間レベルの認識精度に近づき、様々な音響条件や言語にまたがる堅牢性を高めた。
対照的に、Forsed Alignmentは同等の進歩を経験しておらず、従来のHMM-GMMフレームワークは広く採用され、競争力が高い。
このギャップに対処するために,音素アライメントに特化して設計されたエンドツーエンドの完全微分可能なニューラルアーキテクチャを提案する。
モデルは入力信号を処理するエンコーダとアライメント決定を生成するデコーダで構成される。
エンコーダは2つの補完的な分岐で構成されており、1つは音素識別と、もう1つは音素境界検出のためのものである。
デコーダは、微分可能なソフトダイナミックプログラミングに基づくトレーニング可能なモジュールとして実装されている。
システム全体は、定常音素領域と遷移境界との明確な分離を促進する新しいコントラスト損失を用いて、エンドツーエンドに最適化されている。
提案手法は、手書きの英語ベンチマークにおいて、現在最先端の音素アライメントよりも優れており、単語レベルの強い一般化結果が得られ、目に見えない言語での一般化を実証する。
関連論文リスト
- MUGEN: A Unified Framework for Efficient Motion Understanding and Generation [17.452895169020817]
コストがかからない一貫した動き言語フレームワークを提案する。
単一の適応長オートエンコーダは、任意の長さの運動をいくつかの連続した潜在スロットに圧縮する。
MUGENは、HumanML3D上のFIDに基づく言語モデルベースラインを導き、リアルモーション参照よりも精度の高い検索を行う。
論文 参考訳（メタデータ） (2026-07-30T01:55:51Z) - Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming [8.651679612591758]
本稿では,アライメントエンコーダと学習アライメントデコーダからなる,高精度な多言語単語レベル強制アライメント手法を提案する。
エンコーダは2つの表現を統合する: 1つはMMSモデルからのもので、もう1つは自己教師型音素境界検出器(UnSupSeg)からのものである。
長い時間的文脈において、それらと融合し、単語境界確率を推定することを学ぶ。
アライメントデコーダは、エンコーダ出力とMMSおよびUnSupSeg表現上のセグメント特徴を組み合わせて最終単語境界を推測する学習された動的プログラミングである。
論文 参考訳（メタデータ） (2026-06-09T10:27:59Z) - OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder [17.494692126897434]
我々は、共有潜在空間内の25fpsの対称で視覚信号と音声信号を共入力するための統合トランスフォーマーバックボーンであるtextbf Omni-Encoder を提案する。
実験により、モダリティ固有のベースラインであるQwen2.5-Omniと比較して、Omni-Encoderは視覚的連続理解タスクに大きな利益をもたらすことが示された。
これらの結果から,統一全能符号化は全能モデル構築に有望な方向性をもたらすことが示唆された。
論文 参考訳（メタデータ） (2026-05-02T15:55:03Z) - SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。
SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。
以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
論文 参考訳（メタデータ） (2026-04-20T09:59:18Z) - Disentangled Dual-Branch Graph Learning for Conversational Emotion Recognition [37.30058027224552]
会話におけるマルチモーダル感情認識は、コンテキスト内のテキスト、音響、視覚的手がかりを共同でモデル化することにより、発話レベルの感情を推測することを目的としている。
本稿では,二重空間特徴の絡み合いと二重分岐グラフ学習を組み合わせたフレームワークを提案する。
IEMOCAPとMELDの実験により,提案手法は強いベースラインよりも優れた性能が得られることを示した。
論文 参考訳（メタデータ） (2026-04-03T14:47:26Z) - GAID: Frame-Level Gated Audio-Visual Integration with Directional Perturbation for Text-Video Retrieval [12.483734449829235]
GAIDは、テキストガイダンスの下でオーディオと視覚機能を統合するフレームワークである。
DASPは、構造を意識した摂動をテキスト埋め込みに注入し、マルチパス推論を発生させることなく、堅牢性と差別性を高める。
MSR-VTT, DiDeMo, LSMDC, VATEXによる実験では, 顕著な効率向上が得られた。
論文 参考訳（メタデータ） (2025-08-03T10:44:24Z) - Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。
本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。
我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文 参考訳（メタデータ） (2021-12-21T19:14:44Z) - Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition [41.92991390542083]
本稿では,音素に基づくニューラルトランスデューサモデリングのための,シンプルで斬新で競争力のあるアプローチを提案する。
1つの音の文脈サイズは、最高の演奏に十分であることを示す。
我々の最高のモデル全体の性能はTED-Lium Release 2 と Switchboard corpora の State-of-the-art (SOTA) 結果に匹敵する。
論文 参考訳（メタデータ） (2020-10-30T16:53:29Z) - Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence
Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。
本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。
主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文 参考訳（メタデータ） (2020-09-06T13:01:06Z) - On the Encoder-Decoder Incompatibility in Variational Text Modeling and
Beyond [82.18770740564642]
変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。
我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。
同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
論文 参考訳（メタデータ） (2020-04-20T10:34:10Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z) - Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。
各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文 参考訳（メタデータ） (2020-01-14T02:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。