論文の概要: P2Flow: Phoneme-aware Progressive Flow Matching for Extreme Speech Super-Resolution
- arxiv url: http://arxiv.org/abs/2609.24138v1
- Date: Mon, 21 Sep 2026 05:47:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.087598
- Title: P2Flow: Phoneme-aware Progressive Flow Matching for Extreme Speech Super-Resolution
- Title(参考訳): P2Flow:超高分解能音声のための音素認識プログレッシブフローマッチング
- Abstract要約: P2Flowは音素対応のプログレッシブフローマッチング(FM)フレームワークで、3つの主要な戦略を持つ極端なSSR向けに設計されている。
まず,周波数領域を階層的に復元するプログレッシブな設計を採用する。
TIMITとVCTKのデータセットを1kHzから16kHzと2kHzから16kHzで実験した。
- 参考スコア(独自算出の注目度): 13.3339200135688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models have recently demonstrated considerable promise in speech super-resolution (SSR). Nevertheless, the majority of existing work has concentrated on standard or versatile SSR configurations, leaving the extreme setting with severely limited spectral inputs largely unexplored. In this regime, current approaches exhibit marked performance degradation, underscoring the need for dedicated solutions. To bridge this gap, we introduce P2Flow, a phoneme-aware progressive flow matching (FM) framework designed for extreme SSR with three main strategies. First, our model leverages phonetic information to reconstruct missing spectral components. Furthermore, it employs a progressive architectural design that hierarchically restores distinct frequency regions. Finally, we incorporate post-training of the vocoder to enhance overall waveform fidelity. Extensive experiments are conducted on the TIMIT and VCTK datasets under both 1 kHz to 16 kHz and 2 kHz to 16 kHz settings, demonstrating that P2Flow yields state-of-the-art results across multiple evaluation metrics.
- Abstract(参考訳): 生成モデルは、最近、音声超解像(SSR)においてかなりの可能性を証明している。
それでも、既存の研究の大部分は標準または多用途のSSR構成に集中しており、極端にスペクトル入力が極端に限られており、ほとんど探索されていない。
この体制では、現在のアプローチではパフォーマンスが著しく低下しており、専用のソリューションの必要性が強調されている。
このギャップを埋めるために,音素対応プログレッシブフローマッチング(FM)フレームワークであるP2Flowを紹介した。
まず,欠落したスペクトル成分を再構成するために音声情報を利用する。
さらに、異なる周波数領域を階層的に復元するプログレッシブなアーキテクチャ設計を採用している。
最後に,ボコーダのポストトレーニングを取り入れ,波形の完全性を向上させる。
TIMITとVCTKのデータセットに対して、1kHzから16kHzと2kHzから16kHzの設定で大規模な実験を行い、P2Flowが複数の評価指標で最先端の結果を得ることを示した。
関連論文リスト
- Frequency-Aware Flow Matching for High-Quality Image Generation [40.59308529513355]
フローマッチングモデルは、現実的な画像生成のための強力なフレームワークとして登場した。
本稿では,周波数認識条件をフローマッチングフレームワークに明示的に組み込んだ周波数認識フローマッチングを提案する。
従来の拡散モデルDiTと流れマッチングモデルSiTをそれぞれ0.79FIDと0.58FIDに上回り、FID1.38の最先端性能を実現する。
論文 参考訳(メタデータ) (2026-04-16T21:00:41Z) - FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation [52.63033377447227]
隠れ状態における低周波成分は主にグローバルな構造情報と長距離依存を符号化し,高周波成分は局所的な詳細を特徴づける役割を担っていることを示す。
そこで本研究では,周波数領域のスライディングウインドウ機構を利用したFourierSamplerを提案する。
論文 参考訳(メタデータ) (2026-01-30T17:06:41Z) - Real-Time LiDAR Super-Resolution via Frequency-Aware Multi-Scale Fusion [0.4078247440919472]
FLASH (Frequency-aware LiDAR Adaptive Super- resolution with Hierarchical fusion) は、二重ドメイン処理による制限を克服する新しいフレームワークである。
FLASHは、2つの重要なイノベーションを統合する: (i) 局所的な空間的注意とFFTによるグローバルな周波数領域分析を組み合わせ、細粒度の幾何と周期的な走査パターンの両方をログ線形複雑度で捉え、 (ii) 学習された位置特異的な特徴集約による従来のスキップ接続を置き換え、CBAMによる動的特徴選択のために強化する適応的マルチスケールフュージョン。
論文 参考訳(メタデータ) (2025-11-10T18:38:15Z) - BasicAVSR: Arbitrary-Scale Video Super-Resolution via Image Priors and Enhanced Motion Compensation [70.27358326228399]
任意スケールビデオ超解像(AVSR)のためのベーシックAVSRを提案する。
AVSRは、ビデオフレームの解像度、潜在的に様々なスケーリング要素を強化することを目的としている。
超高分解能, 一般化能力, 推論速度の点で, BasicAVSR は既存手法よりも優れていた。
論文 参考訳(メタデータ) (2025-10-30T05:08:45Z) - WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。
高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。
標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
論文 参考訳(メタデータ) (2025-10-24T01:41:31Z) - UniverSR: Unified and Versatile Audio Super-Resolution via Vocoder-Free Flow Matching [20.92242470770289]
本稿では,複雑なスペクトル係数の条件分布を捉えるために,フローマッチング生成モデルを用いた超解像の超解像化フレームワークを提案する。
実験により,我々のモデルは様々なアップサンプリング要因にまたがる高忠実度48kHzのオーディオを連続的に生成することがわかった。
論文 参考訳(メタデータ) (2025-10-01T11:04:53Z) - Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。
Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
論文 参考訳(メタデータ) (2025-06-24T17:58:02Z) - FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
計算コストの制限による顔超解像(FSR)は未解決の問題である。
既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。
本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
論文 参考訳(メタデータ) (2025-06-17T02:33:42Z) - Wave-U-Mamba: An End-To-End Framework For High-Quality And Efficient Speech Super Resolution [4.495657539150699]
SSR(Speech Super-Resolution)は、高周波数成分の欠如を回復させることにより低分解能音声信号を強化するタスクである。
従来の手法では、通常、対数メルの特徴を再構成し、次いで波形領域で高分解能な音声を生成するボコーダが続く。
本稿では,SSRを時間領域で直接実行するWave-U-Mambaという手法を提案する。
論文 参考訳(メタデータ) (2024-09-14T06:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。