論文の概要: The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery

• arxiv url: http://arxiv.org/abs/2606.23306v1
• Date: Mon, 22 Jun 2026 13:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:41:25.103007
• Title: The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery
• Title（参考訳）: CTC Oracle Gapの解剖 : 音響放射と言語回復
• Authors: Ivan Novosad,
• Abstract要約: 11つのCTC内部および音響特性評価戦略は、グリージー復号よりも統計的に有意なWER改善をもたらす。 音響信号の再結合は、オラクルギャップを閉じることはできない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the limits of CTC-internal scoring for N-best hypothesis selection and locate the information bottleneck separating acoustic confidence from linguistic plausibility. Eleven CTC-internal and acoustic-feature scoring strategies produce no statistically significant WER improvement over greedy decoding on LibriSpeech dev-other at G=16 (all p > 0.05). The exhaustion is systematic: CTC's Spearman $ρ$ between hypothesis score and per-utterance WER degrades from -0.574 at G=4 to -0.270 at G=128, a 53% loss driven by blank-path proliferation. This establishes that the discriminative capacity of CTC-internal representations is saturated: no recombination of acoustic signals can close the oracle gap. Confirming that the bottleneck is linguistic, not acoustic, external linguistic information introduced via MBR decoding breaks through it. MBR-CER decoding with a RoBERTa pseudo-log-likelihood (PLL) posterior ($τ$=10, G=128) achieves 5.42% WER on held-out LibriSpeech test-other (greedy 5.96%, $Δ$=-0.535 pp, p<0.0001, 9.0% relative). RoBERTa PLL $ρ$ degrades only 21% over the same range, retaining discriminating power where CTC loses it. Applied without retuning across two Zipformer architectures, three domains (LibriSpeech, TED-LIUM 3, VoxPopuli), and four MUSAN noise levels, the recipe gives significant gains in 11 of 13 conditions. On the training side, standard MWER training via the CTC forward-backward algorithm implements Rao-Blackwellized REINFORCE at the output projection (variance about 3x below Viterbi). Yet sequence-level fine-tuning fails at near-converged checkpoints: all four MWER configurations on CR-CTC collapse (+6.18 to +8.90 pp WER), as a training oracle gap of 0.007 pp provides no usable reward signal.
• Abstract（参考訳）: 我々は,N-best仮説選択におけるCTC内部スコアの限界について検討し,言語的妥当性から音響的信頼度を分離する情報のボトルネックを特定する。 11のCTC内部および音響特性評価戦略は、G=16(全p > 0.05)のLibriSpeechデヴァイス上でのグリーディデコーディングよりも統計的に有意なWER改善をもたらす。 CTCのSpearman $ρ$は、仮説スコアと発話毎のWERは、G=4で-0.574からG=128で-0.270に低下し、空白経路の拡散によって53%の損失がもたらされる。 これにより、CTC内部表現の識別能力は飽和しており、音響信号の再結合はオラクルギャップを塞ぐことができない。 ボトルネックは言語的であり、MBRデコードによって導入された外部言語情報ではないことが確認される。 MBR-CER decoding with a RoBERTa pseudo-log-likelihood (PLL) rear ($τ$=10, G=128) achieves 5.42% WER on held-out LibriSpeech test-other (greedy 5.96%, $Δ$=-0.535 pp, p<0.0001, 9.0% relative)。 RoBERTa PLL $ρ$は、同じ範囲でわずか21%しか分解せず、CTCが失う判別力を保持する。 2つのZipformerアーキテクチャ、3つのドメイン(LibriSpeech、TED-Lium 3、VoxPopuli)、および4つのMUSANノイズレベルを調整することなく、レシピは13の条件のうち11で大幅に向上する。 トレーニング側では、CTCフォワード・バックワードアルゴリズムによる標準MWERトレーニングは、出力プロジェクション(ヴィタビの約3倍)でラオ・ブラックウェル化REINFORCEを実装している。 CR-CTC崩壊時の4つのMWER構成(+6.18から+8.90pp WER)は、0.007ppの訓練用オラクルギャップが使用可能な報酬信号を提供していない。

関連論文リスト

• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP [6.450516062706025]
  CLIPのような共同埋め込みアーキテクチャでは、量子化されたCNN分類器とは異なる障害モードが導入されている。 我々はこれをQIRC(Quantization-induced Representation Collapse)と呼び、CLIP ViT-B/32を置き換えるINT8上で定量化する。 雑音飽和層をバイパスするLRA-EE(Layer-wise Representation-Aware Early Exit)を提案する。 ImageNet-1K ゼロショット分類では、LRA-EE は FLOP を 13.4% 削減し、Top-1 の精度を +2.44%p (58.72% -> 61.16%) 向上させる。
  論文  参考訳（メタデータ） (2026-05-26T00:45:46Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation [45.56738584872585]
  ニューラルスケーリング法則は、パラメータカウント$N$とトークンカウント$D$のパワーロー関数として、言語モデルの損失を近似する。 本稿では,コリニア設計がガウス・ニュートン最小二乗問題に固有の不条件を生じさせることを示す。 これを4つのスケーリング法則形式に対して証明し、十分に条件付き推定に十分必要な閉形式TPP多様性閾値を導出する。
  論文  参考訳（メタデータ） (2026-05-08T23:00:17Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Constraint Satisfaction Approaches to Wordle: Novel Heuristics and Cross-Lexicon Validation [0.0]
  本稿では, CSP 対応エントロピー, 制約伝搬後の情報ゲイン, 確率的 CSP フレームワークを紹介する。 2,315語の単語を評価することで、CSP-Aware Entropy 3.54の平均推定は99.9%の成功率である。 500のスペイン語の単語に対するクロスレキシコンの検証は、言語固有のチューニングをゼロにすることで88%の成功を示している。
  論文  参考訳（メタデータ） (2025-10-03T09:44:14Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• CTC-DRO: Robust Optimization for Reducing Language Disparities in Speech Recognition [61.925178250628825]
  グループ分散ロバストな最適化(グループDRO)は、最悪のグループ損失を最小限に抑えてこの問題に対処するが、グループ損失がグループ間の性能差を誤って表すと失敗する。 CTC-DROは群重み更新をスムースにすることで群DRO目標の欠点に対処し,一貫した高損失群に対する過剰エンハンシスを防ぐ。
  論文  参考訳（メタデータ） (2025-02-03T19:29:42Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。