論文の概要: MG-REPA: Multi-Granularity Representation Alignment for Generative Target Speaker Extraction

• arxiv url: http://arxiv.org/abs/2610.32161v1
• Date: Fri, 23 Oct 2026 04:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.391478
• Title: MG-REPA: Multi-Granularity Representation Alignment for Generative Target Speaker Extraction
• Title（参考訳）: MG-REPA:生成目標話者抽出のための多粒度表現アライメント
• Abstract要約: 生成目標話者抽出(TSE)モデルは高品質な抽出を実現するが、かなり遅い訓練収束に苦しむ。 本稿では,隠れ状態とフレームレベルでのSSLモデル,発話レベルでの話者検証モデルとを整列する多言語表現アライメント(MG-REPA)を提案する。 Libri2Mixでは、MG-REPAはMeanFlow-TSEベースラインのOVRLとPESQにそれぞれ3.0times$と2.1times$より少ないエポックで到達している。
• 参考スコア（独自算出の注目度）: 10.582251259323206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative target speaker extraction (TSE) models achieve high-quality extraction, but suffer from considerably slow training convergence. Representation Alignment (REPA) accelerates diffusion transformer training by aligning hidden states with a pre-trained Self-Supervised Learning (SSL) teacher. However, existing alignment in the speech and audio domain operates at a single granularity. For TSE, frame-level alignment leaves the global, time-invariant characteristics of the target speech implicit, whereas utterance-level alignment leaves the time-varying content implicit, even though extracting the target requires both. We propose Multi-Granularity Representation Alignment (MG-REPA), aligning the hidden states with an SSL model at the frame level and a speaker verification model at the utterance level. We further apply temporal normalization to the frame-level target, removing its utterance-level statistics so that each branch concentrates on its granularity. On Libri2Mix, MG-REPA reaches the OVRL and PESQ of a MeanFlow-TSE baseline with $3.0\times$ and $2.1\times$ fewer epochs, respectively. Trained for 750 epochs, it is competitive with the published 2,000-epoch baseline on intrusive metrics while improving non-intrusive metrics. An ablation demonstrates that MG-REPA outperforms alignment at a single granularity.
• Abstract（参考訳）: 生成目標話者抽出(TSE)モデルは高品質な抽出を実現するが、かなり遅い訓練収束に苦しむ。 Representation Alignment (REPA)は、隠蔽状態と事前訓練された自己監視学習(SSL)教師を連携させることにより、拡散トランスフォーマー訓練を加速させる。 しかし、音声および音声領域の既存のアライメントは、単一の粒度で動作する。 TSEでは、フレームレベルのアライメントはターゲット音声のグローバルかつ時変特性を暗黙的に残すが、発話レベルのアライメントは、ターゲットを抽出しても時間変化のあるコンテンツを暗黙的に残す。 本稿では,隠れ状態とフレームレベルでのSSLモデル,発話レベルでの話者検証モデルとを整列する多言語表現アライメント(MG-REPA)を提案する。 さらに、フレームレベルの目標に対して時間的正規化を適用し、その発話レベル統計を除去し、各ブランチがその粒度に集中するようにする。 Libri2Mixでは、MG-REPAはMeanFlow-TSEベースラインのOVRLとPESQにそれぞれ3.0\times$と2.1\times$より少ないエポックを持つ。 750エポックで訓練され、2000エポックの非侵入的メトリクスのベースラインと競合し、非侵入的メトリクスを改善している。 アブレーションはMG-REPAが単一粒度でのアライメントより優れていることを示す。

関連論文リスト

• Self-Supervised Representation-Guided Generative Dataset Distillation [55.27114962330541]
  自己監督型表現誘導型生成データセット蒸留(SRG)を提案する。 SRGはSSLの幾何学を拡散誘導に変換する。 複数のデータセットとIPC設定で評価された生成ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-04T06:51:45Z)
• SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
  本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。 SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。 ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-06-05T10:00:19Z)
• AHPA: Adaptive Hierarchical Prior Alignment for Diffusion Transformers [24.937985157569823]
  我々は,信号と雑音の比に応じて,表現監督の有用な粒度が体系的に変化するため,このような時間ステップに依存しないアライメントが最適であると主張する。 ハイノイズでは拡散モデルはより粗い意味とレイアウトレベルのアンカーの恩恵を受けるが、低ノイズでは、トレーニング信号は空間的詳細で構造的に忠実な洗練を強調するべきである。 この非定常アライメント動作は、静的なシングルレベルスーパーバイザーに対する表現ミスマッチを生成する。
  論文  参考訳（メタデータ） (2026-05-05T03:07:29Z)
• SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
  我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。 SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。 以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2026-04-20T09:59:18Z)
• AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning [49.68129589035101]
  AZeroS (Auden Zero-Instruction-tuned Speech-LLM) を導入する。 AZeroSはセマンティックベンチマークとパラ言語ベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-31T04:05:04Z)
• GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model [35.12859489567766]
  我々は,TSEのための2段階デコーダのみのジェネレーションLMアプローチであるGenTSEを提案する。 意味論と音響学の分離は、復号化を安定化させ、より忠実で内容に整合したターゲットスピーチをもたらす。 Libri2Mixの実験は、GenTSEが従来のLMベースのシステムよりも、音声品質、知性、話者の一貫性を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-24T06:13:02Z)
• A-JEPA: Joint-Embedding Predictive Architecture Can Listen [35.308323314848735]
  本稿では,音声スペクトルから自己教師付き学習を行うシンプルな拡張手法であるA-JEPAについて紹介する。 A-JEPAは、コンテキストエンコーダによるカリキュラムマスキング戦略で可視音声スペクトログラムパッチをエンコードし、よく設計された場所でサンプリングされた領域の表現を予測する。
  論文  参考訳（メタデータ） (2023-11-27T13:53:53Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement [5.766499647507758]
  さらに、時間周波数(TF)領域における音声強調(SE)のためのコンバータベース計量生成逆ネットワーク(CMGAN)モデルを開発した。 以上の結果から,CMGANは3つの主要な音声強調課題において,既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-22T15:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。