論文の概要: TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs

• arxiv url: http://arxiv.org/abs/2604.08384v1
• Date: Thu, 09 Apr 2026 15:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:06.006014
• Title: TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs
• Title（参考訳）: TASU2:音声LLMのアライメントと低リソース適応のための制御可能なCTCシミュレーション
• Authors: Jing Peng, Chenghao Wang, Yi Yang, Lirong Qian, Junjie Li, Yu Xi, Shuai Wang, Kai Yu,
• Abstract要約: 音声LLMポストトレーニングは、効率的なクロスモーダルアライメントとロバストな低リソース適応に依存している。 TASUのようなテキストのみのアライメント手法は、CTC後部を転写からシミュレートすることで、この負担を軽減する。 WERの範囲でCTC後部分布をシミュレートする制御可能なCTCシミュレーションフレームワークである textbfTASU2 を提案する。
• 参考スコア（独自算出の注目度）: 24.987107011376082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech LLM post-training increasingly relies on efficient cross-modal alignment and robust low-resource adaptation, yet collecting large-scale audio-text pairs remains costly. Text-only alignment methods such as TASU reduce this burden by simulating CTC posteriors from transcripts, but they provide limited control over uncertainty and error rate, making curriculum design largely heuristic. We propose \textbf{TASU2}, a controllable CTC simulation framework that simulates CTC posterior distributions under a specified WER range, producing text-derived supervision that better matches the acoustic decoding interface. This enables principled post-training curricula that smoothly vary supervision difficulty without TTS. Across multiple source-to-target adaptation settings, TASU2 improves in-domain and out-of-domain recognition over TASU, and consistently outperforms strong baselines including text-only fine-tuning and TTS-based augmentation, while mitigating source-domain performance degradation.
• Abstract（参考訳）: 音声LPMポストトレーニングは、効率的なクロスモーダルアライメントとロバストな低リソース適応にますます依存しているが、大規模な音声テキストペアの収集にはコストがかかる。 TASUのようなテキストのみのアライメント手法は、CTC後続文字の転写をシミュレートすることで、この負担を軽減するが、不確実性やエラー率の制限により、カリキュラムの設計は概ねヒューリスティックである。 WERの範囲内でCTC後部分布をシミュレートする制御可能なCTCシミュレーションフレームワークである \textbf{TASU2} を提案する。 これにより、TSを使わずに監督難易度を円滑に変化させる、原則化された後訓練カリキュラムが実現される。 複数のソース・ツー・ターゲット適応設定全体にわたって、TASU2はドメイン内およびドメイン外認識を改善し、ソース・ドメインのパフォーマンス低下を軽減しつつ、テキストのみの微調整やTSベースの拡張を含む強力なベースラインを一貫して上回る。

関連論文リスト

• Subspace Alignment for Vision-Language Model Test-time Adaptation [82.83192844597593]
  視覚言語モデル(VLM)は分布シフトに対して脆弱である。 既存のテスト時間適応法は、自己学習のための擬似ラベルとしてゼロショット予測に依存している。 両モードのセマンティック部分空間を整列させてゼロショット予測を強化するSubTTAを提案する。
  論文  参考訳（メタデータ） (2026-01-13T02:02:41Z)
• Counterfactual Activation Editing for Post-hoc Prosody and Mispronunciation Correction in TTS Models [19.852233854729235]
  既存の韻律操作のアプローチは、しばしば特別なモジュールや追加の訓練に依存し、ポストホック調整の能力を制限する。 本稿では,韻律と発音のポストホック制御を実現するために,事前学習されたTSモデルの内部表現を操作するモデル非依存の手法であるCounterfactual Activation Editingを紹介する。 実験の結果,提案手法は韻律的特徴を効果的に調整し,合成品質を保ちながら誤認識を補正することがわかった。
  論文  参考訳（メタデータ） (2025-06-01T04:33:37Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• LI-TTA: Language Informed Test-Time Adaptation for Automatic Speech Recognition [43.19328760778868]
  TTA(Test-Time Adaptation)は、ドメインシフト問題に対する重要な解決策として登場した。 言語インフォームドテスト時間適応(Language Informed Test-Time Adaptation, LI-TTA)を提案する。
  論文  参考訳（メタデータ） (2024-08-11T13:19:27Z)
• Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
  教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。 我々はこの仮説を言語間タスクの範囲内で批判的に検証する。 タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T17:19:36Z)
• Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
  本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。 冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。 実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T22:02:59Z)
• A Comparison of Semi-Supervised Learning Techniques for Streaming ASR at Scale [64.10124092250126]
  大規模ラベル付きコーパスの欠如により、ASRの性能向上のための主流の手法として、アンペアテキストとオーディオインジェクションが出現している。 本研究では,未ペアテキストと音声の両方を含む最先端の3つの半教師手法と,それらの組み合わせを制御された環境で比較する。 我々の設定では、これらの手法は、末尾語WERの大幅な向上、推論時のデコーダ計算、格子密度など、生のWERを超える多くの改善を提供する。
  論文  参考訳（メタデータ） (2023-04-19T18:09:27Z)
• Pre-training for Speech Translation: CTC Meets Optimal Transport [29.807861658249923]
  本研究では,コネクショニスト時間分類(CTC)の損失が設計によるモダリティギャップを減少させることを示す。 本稿では,CTCと最適輸送を組み合わせた新しい事前学習手法を提案する。 本手法では,2つのエンコーダ,1つは音響入力用,もう1つはテキスト入力用で構成され,ワッサーシュタイン空間において互いに近接した表現を生成する。
  論文  参考訳（メタデータ） (2023-01-27T14:03:09Z)
• CTC Alignments Improve Autoregressive Translation [145.90587287444976]
  我々はCTCが共同のCTC/アテンションフレームワークに適用された場合、実際に翻訳に意味があることを論じる。 提案した共同CTC/アテンションモデルは6つのベンチマーク翻訳タスクにおいて純粋アテンションベースラインを上回った。
  論文  参考訳（メタデータ） (2022-10-11T07:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。