論文の概要: Preserve to Expand: Source-Aware Adaptation and Model Merging for Multilingual LLM-Based ASR

• arxiv url: http://arxiv.org/abs/2610.35846v1
• Date: Mon, 26 Oct 2026 17:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.13684
• Title: Preserve to Expand: Source-Aware Adaptation and Model Merging for Multilingual LLM-Based ASR
• Title（参考訳）: 拡張のための保存:多言語LLMベースASRのためのソースアウェア適応とモデルマージ
• Abstract要約: 学習可能なコネクタが音声表現を凍結した大言語モデルにマッピングする,コネクタベース音声LLMの問題点について検討する。 我々は,ソースコードの性能を維持しつつ,コネクタを適応するための目標更新構築とマージ戦略を評価する。
• 参考スコア（独自算出の注目度）: 5.770962296305264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expanding multilingual ASR systems to new languages is challenging when adaptation must preserve previously supported languages without replaying source-language training data. We study this problem in connector-based Speech LLMs, where a trainable connector maps speech representations into a frozen large language model. We evaluate target-update construction and merging strategies for adapting the connector while preserving source-language performance. In single-target expansion, target-only fine-tuning and standard TIES merging learn new languages but cause severe source-language forgetting, while SSU-Wanda+TIES gives the best source-preserving trade-off. In multi-target expansion, update merging provides stable source retention, whereas recursive expansion can improve target adaptation under favorable orders but is highly order-sensitive. These results show that multilingual ASR expansion requires balancing target acquisition, source retention, and interactions among target-language updates.
• Abstract（参考訳）: 多言語ASRシステムを新しい言語に拡張することは、ソース言語訓練データを再生することなく、前もってサポート対象言語を維持しなければならない場合、困難である。 我々は,この問題を,学習可能なコネクタが表現を凍結した大言語モデルにマッピングする,コネクタベースの音声LLMで検討する。 我々は,ソースコードの性能を維持しつつ,コネクタを適応するための目標更新構築とマージ戦略を評価する。 単一ターゲット拡張では、ターゲットのみの微調整と標準のTIESマージが新しい言語を学習するが、ソース言語を忘れてしまう。 マルチターゲット拡張では、更新マージが安定したソース保持を提供するのに対して、再帰的拡張は適切な順序でターゲット適応を改善することができるが、非常に順序に敏感である。 これらの結果から,多言語ASRの拡張には,ターゲットの獲得,ソース保持,およびターゲット言語更新間の相互作用のバランスが必要であることが示唆された。

関連論文リスト

• Sequential Adapter Stacking for Cross-Lingual Low-Resource ASR [2.27726424067057]
  本稿では,Whisper上で,ソース言語から低リソースターゲット言語への知識伝達手法について検討する。 そこで本研究では,凍結したソース言語アダプタ上に,トレーニング可能なターゲット言語アダプタを配置するSequential Adapter Stackingを提案する。 これらのアプローチは、Whisperによってサポートされていない3つのターゲット言語で評価される。
  論文  参考訳（メタデータ） (2026-09-14T15:43:41Z)
• Learning to Route Languages for Multilingual Policy Optimization [50.044784120224335]
  大規模言語モデルは異種多言語コーパスで訓練される。 本稿では,言語を選択可能な変数として扱うオンラインポリシー最適化フレームワークLRPOを提案する。
  論文  参考訳（メタデータ） (2026-05-25T02:28:41Z)
• COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling [0.023074632109535153]
  ターゲット言語に大規模言語モデルを適用するための,データ中心のフレームワークを導入する。 我々は、既存のトレーニングデータとターゲット利用分布のセマンティックギャップを特定するために、分布対応サンプリング戦略を用いる。 我々はこれを継続的学習フレームワークに拡張し、本番環境でのデータ分散シフトを監視し、アダプタを動的に更新し、モデルの不安定さを防ぐ。
  論文  参考訳（メタデータ） (2026-04-22T16:07:10Z)
• Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights [5.014897572890602]
  LLM(Large Language Models)は、低リソース言語での性能に制限があるため、英語に重点を置いている。 モデルマージは,低リソース言語に対する従来の適応手法に代わる,実用的で効率的な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-03-30T10:46:50Z)
• LiRA: Linguistic Robust Anchoring for Cross-lingual Large Language Models [16.504397960476584]
  LiRA(Linguistic Robust Anchoring for Large Language Models)は、低リソース条件下での言語間表現を改善するトレーニングフレームワークである。 東南アジア5言語と東南アジア2言語を対象とした多言語製品検索データセットを作成した。
  論文  参考訳（メタデータ） (2025-10-16T09:08:24Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
  大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。 そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T07:43:49Z)
• Learning Cross-lingual Mappings for Data Augmentation to Improve Low-Resource Speech Recognition [31.575930914290762]
  言語間リソースの爆発は、低リソース言語のデータの不足を補う効果的な方法である。 エンドツーエンド音声認識のための学習可能な言語間マッピングの概念を拡張した。 その結果,任意のソース言語 ASR モデルを用いて,低リソースターゲット言語認識を行うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-14T15:24:31Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。