Fugu-MT 論文翻訳(概要): Optimal transport meets speech: a tutorial review

論文の概要: Optimal transport meets speech: a tutorial review

arxiv url: http://arxiv.org/abs/2609.31787v1
Date: Thu, 24 Sep 2026 23:58:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 12:50:11.580475
Title: Optimal transport meets speech: a tutorial review
Title（参考訳）: 音声に最適な輸送 : チュートリアルレビュー
Abstract要約: 最適輸送(OT)は、確率分布の比較と変換のための原則的なフレームワークを提供する。 OTは、分布間の差異を測定する能力によって、機械学習に大きな注目を集めている。コンピュータビジョンや自然言語処理などの分野での成功にもかかわらず、OTは音声研究において比較的過小評価されている。
参考スコア（独自算出の注目度）: 23.80038368972566
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Optimal Transport (OT) provides a principled framework for comparing and transforming probability distributions while preserving geometric structure. Recently, OT has gained significant attention in machine learning due to its ability to measure discrepancies between distributions, even when their supports do not overlap, making it effective for tasks such as generative modeling, domain adaptation, and transfer learning. Despite its success in fields such as computer vision and natural language processing, OT remains relatively underexplored in speech research. Speech signals present unique challenges, including temporal dynamics, speaker variability, noise, reverberation, and heterogeneous multimodal representations involving audio, text, and visual information. These factors often lead to distribution mismatches, where OT offers a natural framework for alignment and interpretation. This work aims to promote broader adoption of OT in speech processing by: (1) reviewing OT foundations through intuitive physical interpretations and highlighting connections to modern generative models; (2) presenting computational algorithms suitable for deep learning frameworks; and (3) demonstrating OT applications in cross-domain and cross-modal speech tasks, including speech enhancement, automatic speech recognition, language and speaker recognition, and audio spoof detection. We highlight OT's strong potential for addressing distributional variations in real-world speech applications.
Abstract（参考訳）: 最適輸送(OT)は、幾何学的構造を保持しながら確率分布を比較し、変換するための原則的な枠組みを提供する。近年、OTは、サポートが重複していない場合でも、分散間の不一致を測定する能力によって機械学習に大きな注目を集めており、生成モデリング、ドメイン適応、転送学習といったタスクに有効である。コンピュータビジョンや自然言語処理などの分野での成功にもかかわらず、OTは音声研究において比較的過小評価されている。音声信号は、時間的ダイナミクス、話者可変性、ノイズ、残響、および音声、テキスト、視覚情報を含む異種多モーダル表現を含む固有の課題を示す。これらの要因はしばしば分布ミスマッチを引き起こし、OTはアライメントと解釈の自然な枠組みを提供する。本研究の目的は,(1)直感的物理解釈によるOT基礎の見直しと近代生成モデルとの連携の強調,(2)ディープラーニングフレームワークに適した計算アルゴリズムの提示,(3)音声強調,自動音声認識,言語・話者認識,音声スプーフ検出などのクロスドメインおよびクロスモーダルな音声タスクにおけるOT応用の実証などにより,音声処理におけるOTの広範な採用を促進することにある。実世界の音声アプリケーションにおける分布変動に対処するOTの強い可能性を強調した。

関連論文リスト

ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment [52.31881685769569]
ImmersiveTTSは環境コンテキストにシームレスに統合された自然な音声を生成する環境対応テキスト音声合成(TTS)モデルである。本モデルは,マルチモーダル拡散変換器上に構築され,テキスト条件付き環境コンテキストでテキスト対応音声を融合する。実験結果から,ImmersiveTTSは既存手法よりも自然性,知性,音声の忠実度が高いことがわかった。
論文参考訳（メタデータ） (2026-05-29T07:58:54Z)
UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions [55.622295453533475]
音声,音楽,音響効果を合成できる統合フローマッチングフレームワークUniSonateを紹介する。本研究では,非構造環境音を時間潜在空間に投影する動的トークン注入機構を提案する。実験により、UniSonateは、命令ベースのTSとTTMで最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2026-04-24T04:26:04Z)
Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
音声とテキストの表現が階層的にどのように進化するかを分析する。音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
論文参考訳（メタデータ） (2026-03-02T06:21:43Z)
Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models [12.263637152835713]
LSLM(End-to-end Large Speech Language Models)では,会話生成能力が顕著に向上している。粗くきめ細かなテキストと音声表現の両方を解析する。表現類似性はモダリティギャップと強く相関していることがわかった。
論文参考訳（メタデータ） (2025-10-14T03:34:38Z)
MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
論文参考訳（メタデータ） (2025-10-01T04:32:37Z)
Thinking in Directivity: Speech Large Language Model for Multi-Talker Directional Speech Recognition [34.08564665311891]
指向性SpeechLlamaは、指向性音声認識を実現するために、スマートグラスのマイクロホンアレイを活用する新しいアプローチである。実験結果から,提案した指向性SpeechLlamaはテキストキューと空間音声の関係を効果的に捉えることができることがわかった。
論文参考訳（メタデータ） (2025-06-17T20:49:41Z)
Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer [39.31849739010572]
textbfGenerative textbfPre-trained textbfSpeech textbfTransformer (GPST)を紹介する。 GPSTは効率的な音声言語モデリングのために設計された階層変換器である。
論文参考訳（メタデータ） (2024-06-03T04:16:30Z)
Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文参考訳（メタデータ） (2023-09-01T12:35:43Z)
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-01-10T13:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。