論文の概要: Label-Context-Dependent Internal Language Model Estimation for CTC

• arxiv url: http://arxiv.org/abs/2506.06096v1
• Date: Fri, 06 Jun 2025 13:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.501503
• Title: Label-Context-Dependent Internal Language Model Estimation for CTC
• Title（参考訳）: CTCにおけるラベル文脈依存内部言語モデルの推定
• Authors: Zijian Yang, Minh-Nghia Phan, Ralf Schlüter, Hermann Ney,
• Abstract要約: 本稿では,コネクショニストの時間的分類のための新しい文脈依存型ILM推定手法を提案する。 実験の結果,コンテキスト依存型ILMはドメイン間評価において,コンテキスト非依存型の先行よりも優れていた。 平滑化手法を用いたラベルレベルKDは,他のILM推定手法を超えている。
• 参考スコア（独自算出の注目度）: 50.25063912757367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although connectionist temporal classification (CTC) has the label context independence assumption, it can still implicitly learn a context-dependent internal language model (ILM) due to modern powerful encoders. In this work, we investigate the implicit context dependency modeled in the ILM of CTC. To this end, we propose novel context-dependent ILM estimation methods for CTC based on knowledge distillation (KD) with theoretical justifications. Furthermore, we introduce two regularization methods for KD. We conduct experiments on Librispeech and TED-LIUM Release 2 datasets for in-domain and cross-domain evaluation, respectively. Experimental results show that context-dependent ILMs outperform the context-independent priors in cross-domain evaluation, indicating that CTC learns a context-dependent ILM. The proposed label-level KD with smoothing method surpasses other ILM estimation approaches, with more than 13% relative improvement in word error rate compared to shallow fusion.
• Abstract（参考訳）: コネクショニスト時間分類(CTC)は、ラベルコンテキスト独立の仮定を持つが、現代の強力なエンコーダにより、文脈依存の内部言語モデル(ILM)を暗黙的に学習することができる。 本研究では,CTCのILMでモデル化された暗黙の文脈依存性について検討する。 そこで本研究では,知識蒸留(KD)に基づくCTCの文脈依存型ILM推定手法を提案する。 さらに、KDの正規化手法を2つ導入する。 我々はそれぞれ、ドメイン内およびドメイン間評価のためのLibrispeechとTED-Lium Release 2データセットについて実験を行った。 実験結果から,文脈依存型ILMはコンテキスト依存型ILMよりも,コンテキスト依存型ILMを学習することを示す。 平滑化手法を用いたラベルレベルKDは他のILM推定手法を上回り、浅い融合に比べて単語誤り率を13%以上改善した。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering [1.9214041945441436]
  本稿では,Large Language Model (LLM) のセマンティクスを評価するための新しいアプローチを提案する。 本稿では,LLM再応答が意味論的に一致しているかどうかを考察し,構文的に異なる文が同じ意味を持つ可能性があることを認識した。 TruthfulQAデータセットを用いてLLM応答を評価することにより、37のカテゴリにわたる意味的一貫性を測定するために、質問毎にNの応答を誘導し、意味的に等価な文をクラスタ化する。
  論文  参考訳（メタデータ） (2024-10-20T16:21:25Z)
• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment [20.63045120292095]
  言語間機械翻訳(MT)の品質評価は,翻訳性能を評価する上で重要な役割を担っている。 GEMBAはLarge Language Models (LLMs) に基づく最初のMT品質評価尺度であり、システムレベルのMT品質評価において最先端(SOTA)を達成するために一段階のプロンプトを用いる。 本稿では,KPE(Knowledge-Prompted Estor)という,難易度,トークンレベルの類似度,文レベルの類似度を含む3つのワンステッププロンプト技術を組み合わせたCoTプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:32Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Estimating class separability of text embeddings with persistent homology [1.9956517534421363]
  本稿では、トポロジ的観点からテキストデータセットのクラス分離性を推定する教師なし手法を提案する。 本手法を応用して, 組込みの分離性向上を図り, トレーニングプロセスが停止した場合の検知方法について述べる。 その結果,本手法のクラス分離性の推定値と教師付き手法のクラス分離性の推定値が一致していることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T10:58:09Z)
• Improving CTC-based ASR Models with Gated Interlayer Collaboration [9.930655347717932]
  本稿では,モデルにコンテキスト情報を導入するGated Interlayer Collaboration機構を提案する。 我々は,中間層の確率分布がソフトラベル配列として自然に機能するモデルの層間出力によって計算された中間CTC損失でモデルを訓練する。
  論文  参考訳（メタデータ） (2022-05-25T03:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。