論文の概要: A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport

• arxiv url: http://arxiv.org/abs/2502.01588v1
• Date: Mon, 03 Feb 2025 18:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:58.884383
• Title: A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport
• Title（参考訳）: 最適輸送によるシーケンス・ツー・シーケンス・モデリングのための微分アライメント・フレームワーク
• Authors: Yacouba Kaloga, Shashi Kumar, Petr Motlicek, Ina Kodrasi,
• Abstract要約: 一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案する。 CTCと比較して,ASR性能のトレードオフはあるものの,アライメント性能が著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 12.835774667953187
• License:
• Abstract: Accurate sequence-to-sequence (seq2seq) alignment is critical for applications like medical speech analysis and language learning tools relying on automatic speech recognition (ASR). State-of-the-art end-to-end (E2E) ASR systems, such as the Connectionist Temporal Classification (CTC) and transducer-based models, suffer from peaky behavior and alignment inaccuracies. In this paper, we propose a novel differentiable alignment framework based on one-dimensional optimal transport, enabling the model to learn a single alignment and perform ASR in an E2E manner. We introduce a pseudo-metric, called Sequence Optimal Transport Distance (SOTD), over the sequence space and discuss its theoretical properties. Based on the SOTD, we propose Optimal Temporal Transport Classification (OTTC) loss for ASR and contrast its behavior with CTC. Experimental results on the TIMIT, AMI, and LibriSpeech datasets show that our method considerably improves alignment performance, though with a trade-off in ASR performance when compared to CTC. We believe this work opens new avenues for seq2seq alignment research, providing a solid foundation for further exploration and development within the community.
• Abstract（参考訳）: 医用音声分析や自動音声認識(ASR)に依存する言語学習ツールなどの応用においては、精度の高いシーケンス・ツー・シーケンス(seq2seq)アライメントが重要である。 Connectionist Temporal Classification (CTC)やTransducerベースのモデルのような最先端のエンドツーエンド(E2E)ASRシステムはピーク時の動作とアライメントの不正確さに悩まされている。 本稿では,一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案し,モデルが単一アライメントを学習し,E2E方式でASRを実行することを可能にする。 本稿では,シーケンス空間上のSOTD(Sequence Optimal Transport Distance)と呼ばれる擬似メトリックを導入し,その理論的性質について議論する。 SOTDに基づいて、ASRに対する最適時間輸送分類(OTTC)の損失を提案し、その挙動をCTCと対比する。 TIMIT,AMI,LibriSpeechのデータセットによる実験結果から,CTCと比較してASR性能のトレードオフはあるものの,アライメント性能は大幅に向上することがわかった。 この研究は、Seq2seqアライメント研究のための新たな道を開き、コミュニティ内でさらなる調査と開発のための確かな基盤を提供すると信じています。

関連論文リスト

• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• An End-to-End Reinforcement Learning Based Approach for Micro-View Order-Dispatching in Ride-Hailing [8.892147201091726]
  ディディにおけるエンドツーエンドの強化学習に基づく秩序分散手法を提案する。 我々はこの問題をモデル化するために2層決定プロセスフレームワークを使用し、注文代入を生成するエンコーダ-デコーダ構造ネットワークであるアンダーラインDouble underlineScalable underlineNetwork (DSN2)を提案する。 コンテキストダイナミクスを活用することで、私たちのアプローチは行動パターンに適応してパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2024-08-20T01:30:53Z)
• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Align With Purpose: Optimize Desired Properties in CTC Models with a General Plug-and-Play Framework [8.228892600588765]
  Connectionist Temporal Classification (CTC) はシークエンス・ツー・シークエンス(seq2seq)モデルをトレーニングするために広く使われている基準である。 CTC基準でトレーニングされたモデルにおいて、所望のプロパティを強化するために、$textbf General Plug-and-Playフレームワークである$textitAlign With Purposeを提案する。 我々は,ASR(Automatic Speech Recognition)の領域にフレームワークを適用し,その特性選択,アーキテクチャ選択,訓練データセットのスケールといった点において,その汎用性を示す。
  論文  参考訳（メタデータ） (2023-07-04T13:34:47Z)
• A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition [26.79184118279807]
  CTCアライメントに基づく一段非自己回帰変換器(CASS-NAT)をエンドツーエンドASRに適用する。 自己回帰変換器(AT)への単語埋め込みは、エンコーダ出力から抽出されたトークンレベルの音響埋め込み(TAE)で代用される。 我々は,CASS-NAT が様々な ASR タスクにおいて AT に近い WER を持ち,24 倍の推論速度を提供することを発見した。
  論文  参考訳（メタデータ） (2023-04-15T18:34:29Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions [14.376418789524783]
  我々は,最終層におけるCTC損失に加えて,中間層におけるCTC損失を補助するCTCベースのASRモデルを訓練する。 提案手法は実装が容易で,単純なモデルアーキテクチャと高速復号化速度という,CTCベースのASRの利点を保っている。
  論文  参考訳（メタデータ） (2021-04-06T18:00:03Z)
• Exploring Dynamic Context for Multi-path Trajectory Prediction [33.66335553588001]
  動的コンテキストネットワーク(DCENet)という新しいフレームワークを提案する。 本フレームワークでは,エージェント間の空間的コンテキストを自己注意型アーキテクチャを用いて探索する。 学習した空間的時間的文脈に基づいて、各エージェントに対する将来の軌跡のセットを条件付きで予測する。
  論文  参考訳（メタデータ） (2020-10-30T13:39:20Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。