論文の概要: Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration

• arxiv url: http://arxiv.org/abs/2601.02906v1
• Date: Tue, 06 Jan 2026 10:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.896835
• Title: Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration
• Title（参考訳）: ゼロショット翻訳が可能な音声基礎モデルにおける線形スクリプト表現
• Authors: Ryan Soh-Eun Shim, Kwanghee Choi, Kalvin Chang, Ming-Hao Hsu, Florian Eichin, Zhizheng Wu, Alane Suhr, Michael A. Hedderich, David Harwath, David R. Mortensen, Barbara Plank,
• Abstract要約: 我々は,スクリプトが多言語音声モデルのアクティベーション空間に線形に符号化されていることを示し,推論時にアクティベーションを変更することで,出力スクリプトを直接制御できることを示した。 本稿では,Whisperの全モデルサイズにまたがる競合性能を観測し,音声認識出力のスクリプトに対するポストホック制御を実現する手法を提案する。
• 参考スコア（独自算出の注目度）: 70.84108518476744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual speech foundation models such as Whisper are trained on web-scale data, where data for each language consists of a myriad of regional varieties. However, different regional varieties often employ different scripts to write the same language, rendering speech recognition output also subject to non-determinism in the output script. To mitigate this problem, we show that script is linearly encoded in the activation space of multilingual speech models, and that modifying activations at inference time enables direct control over output script. We find the addition of such script vectors to activations at test time can induce script change even in unconventional language-script pairings (e.g. Italian in Cyrillic and Japanese in Latin script). We apply this approach to inducing post-hoc control over the script of speech recognition output, where we observe competitive performance across all model sizes of Whisper.
• Abstract（参考訳）: Whisperのような多言語音声基盤モデルは、Webスケールのデータに基づいて訓練される。 しかし、異なる地域品種は、同じ言語を書くために異なるスクリプトを使用することが多く、音声認識出力は出力スクリプトの非決定性にも従う。 この問題を軽減するため,多言語音声モデルのアクティベーション空間にスクリプトを線形に符号化し,推論時にアクティベーションを変更することで,出力スクリプトを直接制御できることを示す。 テスト時のアクティベーションにこのようなスクリプトベクタを追加することで,非伝統的な言語-スクリプトペアリング(例えば,キリル文字ではイタリア語,ラテン文字では日本語)においても,スクリプトの変更を誘発できることがわかった。 本稿では,Whisperの全モデルサイズにまたがる競合性能を観測し,音声認識出力のスクリプトに対するポストホック制御を実現する手法を提案する。

関連論文リスト

• A Case Against Implicit Standards: Homophone Normalization in Machine Translation for Languages that use the Ge'ez Script [3.5149312379702127]
  音声正規化(Homophone normalization)は、Amharic Natural Language Processingの文献に適用される事前処理のステップである。 トレーニングデータの代わりにモデル予測に正規化を適用した推論後介入を提案する。 我々の研究は、技術に精通した言語変化に関する広範な議論に寄与し、より多くの言語対応の介入を求めている。
  論文  参考訳（メタデータ） (2025-07-20T22:35:08Z)
• A two-stage transliteration approach to improve performance of a multilingual ASR [1.9511556030544333]
  本稿では,言語に依存しないエンドツーエンドモデルを構築するためのアプローチを提案する。 我々は2つのIndic言語に対するエンドツーエンドの多言語音声認識システムを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-10-09T05:30:33Z)
• LangSAMP: Language-Script Aware Multilingual Pretraining [48.16511046793275]
  我々はLangSAMP(Language-Script Aware Multilingual Pretraining)を提案する。 LangSAMPには言語とスクリプトの埋め込みが組み込まれており、表現学習が強化されている。 我々は500以上の言語をカバーする多言語コーパス上のXLM-Rの継続事前学習にLangSAMPを適用した。
  論文  参考訳（メタデータ） (2024-09-26T18:29:10Z)
• Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
  非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。 本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-02T14:51:20Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• TransliCo: A Contrastive Learning Framework to Address the Script Barrier in Multilingual Pretrained Language Models [50.40191599304911]
  本稿では,mPLM を微調整する TransliCo を提案する。 Furinaは様々なゼロショット・クロスリンガル・トランスファータスクにおいてオリジナルのGlot500-mより優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-12T15:12:48Z)
• Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities [36.578851892373365]
  ソーシャルメディアは言語的に表現されていないコミュニティに、彼らの母国語でコンテンツを制作する素晴らしい機会を与えてきた。 本稿では、主にペルソ・アラビア文字で書かれたいくつかの言語に対するスクリプト正規化の問題に対処する。 各種ノイズレベルの合成データと変圧器モデルを用いて, この問題を効果的に再現できることを実証した。
  論文  参考訳（メタデータ） (2023-05-25T18:18:42Z)
• Towards Zero-Shot Code-Switched Speech Recognition [44.76492452463019]
  ゼロショット設定の下で,効率的な符号切替自動音声認識システム (ASR) の構築を目指す。 そこで本研究では,各単言語モジュールの音声セグメントを単言語スクリプトで不特定に書き起こすことにより,各単言語モジュールを単純化することを提案する。 本手法をエンドツーエンドの微分可能なニューラルネットワークに適用し、マンダリン英語SEAMEテストセットにおけるゼロショットCS ASRの有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-02T19:52:54Z)
• Phonological Features for 0-shot Multilingual Speech Synthesis [50.591267188664666]
  単言語モデルにおいても,トレーニング中に見つからない言語に対して,コードスイッチングが可能であることを示す。 テスト時には、訓練で見たことのない音の近似を含む、新しい言語で、理解不能で、コードスイッチトされた音声を生成する。
  論文  参考訳（メタデータ） (2020-08-06T18:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。