論文の概要: Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition

• arxiv url: http://arxiv.org/abs/2606.06065v3
• Date: Wed, 10 Jun 2026 09:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 14:23:44.327032
• Title: Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition
• Title（参考訳）: マルチタスク学習は十分ではない:二重出力第二言語音声認識における表現的絡み合い
• Authors: Seung Hwan Cho, Young-Min Kim,
• Abstract要約: マルチタスク学習(MTL)は自然なアプローチである。 本稿では,MTLが意味を改良するが,特に英語では表層転写を劣化させることを示す。 分析はこれらのパターンをエンコーダレベルの絡み合いに関連付け、韓国は異なるタスク表現を保存し、英語はほぼ同一のパターンを生成する。
• 参考スコア（独自算出の注目度）: 8.39589518001844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Second-language (L2) speech recognition often requires transcriptions of pronunciations and intended meanings. Multi-task learning (MTL) is a natural approach because it assumes that shared representations benefit both outputs. However, this paper shows that this assumption does not hold across Korean and English. MTL improves meaning but degrades surface transcription, especially in English, where the degradation scales with surface-meaning divergence measured by Levenshtein edit distance. Encoder analysis links these patterns to encoder-level entanglement, with Korean preserving distinct task representations while English produces nearly identical ones. Cross-task decoder analysis shows that the meaning dual-output decoder adapts with a unique representation, while the surface dual-output decoder remains constrained by the encoder. These findings motivate the design of MTL frameworks that mitigate encoder-level entanglement to reduce surface degradation in dual-output L2 automatic speech recognition.
• Abstract（参考訳）: 第二言語(L2)音声認識は、しばしば発音と意図した意味の書き起こしを必要とする。 マルチタスク学習(MTL)は自然なアプローチである。 しかし、この仮定は韓国語と英語に当てはまらない。 MTLは意味を改良するが、特に英語では、分解はLevenshtein編集距離によって測定される表面意味のばらつきと共にスケールする。 エンコーダ分析は、これらのパターンをエンコーダレベルの絡み合いにリンクし、韓国語は異なるタスク表現を保存し、英語はほぼ同一のパターンを生成する。 クロスタスクデコーダ解析は、デュアルアウトプットデコーダの意味がユニークな表現で適応していることを示し、表面のデュアルアウトプットデコーダはエンコーダによって制約される。 両出力L2自動音声認識における表面劣化を低減するため,エンコーダレベルの絡みを緩和するMTLフレームワークの設計を動機とした。

関連論文リスト

• Languages are Modalities: Cross-Lingual Alignment via Encoder Injection [0.8461674097042394]
  本稿では、トークン化器を変更したり、デコーダを再訓練したりすることなく、命令調整されたデコーダを条件とした効率的な言語・モダリティ手法を提案する。 LLINKはバイリンガル検索を大幅に改善し、ベースモデルよりも81.3%の嗜好を得る。 改良は, トークン化インフレーションの低減と, より強いクロスリンガルアライメントに起因することが判明した。
  論文  参考訳（メタデータ） (2025-10-31T07:43:21Z)
• Transcribe, Translate, or Transliterate: An Investigation of Intermediate Representations in Spoken Language Models [68.69744941948986]
  音声を大言語モデル(LM)と統合する音声言語モデル(SLM)は、音声エンコーダの出力をデコーダ LM に理解可能な表現にマッピングするモダリティアダプタ(MA)に依存している。 ここでは、3つのSLM(SALMONN, Qwen2-Audio, Phi-4-Multimodal-Instruct)におけるMA出力表現について検討する。 MA表現に最も近いデコーダLMトークンを見つけることで、MA表現の2つの戦略を明らかにする。
  論文  参考訳（メタデータ） (2025-10-02T21:19:40Z)
• DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation [36.126810842258706]
  直接音声音声変換(S2ST)は、1つのモデルを用いて、ある言語から別の言語に音声を翻訳する。 言語的および音響的多様性が存在するため、ターゲット音声は複雑な多モーダル分布に従う。 高速かつ高品質なS2STを実現する非自己回帰直接S2STモデルであるDASpeechを提案する。
  論文  参考訳（メタデータ） (2023-10-11T11:39:36Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Two-Stream Network for Sign Language Recognition and Translation [38.43767031555092]
  本稿では、生ビデオとキーポイントシーケンスの両方をモデル化するために、2つの別々のストリームを含むデュアルビジュアルエンコーダを提案する。 結果として得られるモデルはTwoStream-SLRと呼ばれ、手話認識に適している。 TwoStream-SLTは、単に追加の翻訳ネットワークをアタッチするだけで、手話変換モデルであるTwoStream-SLTに拡張される。
  論文  参考訳（メタデータ） (2022-11-02T17:59:58Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。