論文の概要: Lamer-SSL: Layer-aware Mixture of LoRA Experts for Continual Multilingual Expansion of Self-supervised Models without Forgetting

• arxiv url: http://arxiv.org/abs/2602.12746v1
• Date: Fri, 13 Feb 2026 09:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.902549
• Title: Lamer-SSL: Layer-aware Mixture of LoRA Experts for Continual Multilingual Expansion of Self-supervised Models without Forgetting
• Title（参考訳）: Lamer-SSL:LoRAエキスパートの層認識混合による自己教師型モデルの連続的多言語展開
• Authors: Jing Xu, Minglin Wu, Xueyuan Chen, Xixin Wu, Helen Meng,
• Abstract要約: Lamer-SSLはパラメータ効率のよいフレームワークで、LoRA Experts(Lamer)モジュールのLayer-Aware MixturEとリプレイ戦略を統合する。 自動音声認識(ASR)と言語識別(LID)の実験により、Lamer-SSLは自己教師付きモデルを新しい言語に効果的に拡張することを示した。
• 参考スコア（独自算出の注目度）: 69.6938830307759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their impressive performance, self-supervised speech models often struggle to generalize to new languages and tend to forget previously acquired knowledge during continual training. To address this, we propose Lamer-SSL, a parameter-efficient framework that integrates a Layer-Aware MixturE of LoRA Experts (Lamer) module with a replay strategy. The Lamer module enables flexible balancing between shared and language-specific representations, while layer-aware expert allocation assigns more experts to deeper layers where semantic information is richer. Meanwhile, the replay strategy retains prior knowledge using minimal data, mitigating forgetting during continual training. Experiments on automatic speech recognition (ASR) and language identification (LID) demonstrate that Lamer-SSL extends self-supervised models to new languages effectively while maintaining strong performance on previously learned languages with only 2.14% parameters being trainable.
• Abstract（参考訳）: その印象的な性能にもかかわらず、自己教師型音声モデルは新しい言語への一般化に苦慮し、継続訓練中に獲得した知識を忘れがちである。 そこで我々は,LoRA Experts (Lamer) モジュールのLayer-Aware MixturEをリプレイ戦略に統合したパラメータ効率のフレームワークであるLamer-SSLを提案する。 Lamerモジュールは、共有表現と言語固有の表現のフレキシブルなバランスを可能にする一方で、レイヤアウェアの専門家アロケーションは、セマンティック情報がよりリッチな層により多くの専門家を割り当てる。 一方、リプレイ戦略は、最小限のデータを用いて事前の知識を保持し、継続トレーニング中の忘れを軽減している。 自動音声認識(ASR)と言語識別(LID)の実験により、Lamer-SSLは学習済み言語で2.14%のパラメータしか訓練できない強い性能を維持しつつ、自己教師付きモデルを新しい言語に効果的に拡張することを示した。

関連論文リスト

• MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting [69.6938830307759]
  MiLorE-SSLは、LoRAモジュールとソフトミキシング・オブ・エキスパート・メカニズムを組み合わせて、効率的な連続多言語トレーニングを行う軽量フレームワークである。 LoRAは効率的な低ランク適応を提供するが、ソフトなMoEは言語間のフレキシブルな専門家共有を促進し、言語間の干渉を減らす。 ML-SUPERBの実験では、MiLorE-SSLは新しい言語で高いパフォーマンスを実現し、2.14%のトレーニング可能なパラメータで既存の言語での性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-01-28T06:48:52Z)
• Multilingual Routing in Mixture-of-Experts [45.90403983668531]
  並列多言語データセットを用いて、専門家のルーティングパターンを分析する。 MoEモデルは、初期および後期のデコーダ層において、言語固有の方法でトークンをルーティングする。 本稿では,英語で頻繁に活性化される中層タスクエキスパートの促進により,ルータを操る手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T11:09:20Z)
• CL-MoE: Enhancing Multimodal Large Language Model with Dual Momentum Mixture-of-Experts for Continual Visual Question Answering [27.812611421754482]
  連続視覚質問応答 (VQA) のためのMLLMs-based dual momentum Mixture-of-Experts (CL-MoE) フレームワークを提案する。 MLLMと連続学習を統合し,LLMの豊富なコモンセンス知識を活用する。 提案手法は,10VQAタスクにおける最先端性能を実現し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-01T09:25:23Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models [69.59613095232598]
  既存のSSLモデルにLoRAを統合して新しい言語を拡張する適応手法を提案する。 また、既存の言語における能力を維持するために、データの組み合わせと再クラスタ化を含む保存戦略も開発している。
  論文  参考訳（メタデータ） (2024-06-20T08:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。