論文の概要: Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR

• arxiv url: http://arxiv.org/abs/2603.05354v1
• Date: Thu, 05 Mar 2026 16:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.324522
• Title: Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR
• Title（参考訳）: ASRにおけるマルチドメイン適応のためのモデルマージの可能性と限界を探る
• Authors: Carlos Carvalho, Francisco Teixeira, Thomas Rolland, Alberto Abad,
• Abstract要約: マルチドメインASRとベンチマーク11のマージアルゴリズムによる10のポルトガルのドメインのマージについて検討した。 当社のアプローチは,単一モデルでの配布外一般化を保ちながら,ポルトガル語に対する完全な微調整を達成している。
• 参考スコア（独自算出の注目度）: 16.45052035685509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging is a scalable alternative to multi-task training that combines the capabilities of multiple specialised models into a single model. This is particularly attractive for large speech foundation models, which are typically adapted through domain-specific fine-tuning, resulting in multiple customised checkpoints, for which repeating full fine-tuning when new data becomes available is computationally prohibitive. In this work, we study model merging for multi-domain ASR and benchmark 11 merging algorithms for 10 European Portuguese domains, evaluating in-domain accuracy, robustness under distribution shift, as well as English and multilingual performance. We further propose BoostedTSV-M, a new merging algorithm based on TSV-M that mitigates rank collapse via singular-value boosting and improves numerical stability. Overall, our approach outperforms full fine-tuning on European Portuguese while preserving out-of-distribution generalisation in a single model.
• Abstract（参考訳）: モデルマージはマルチタスクトレーニングのスケーラブルな代替手段であり、複数の専門モデルの性能をひとつのモデルに組み合わせている。 これは、通常、ドメイン固有の微調整によって適応され、複数のカスタマイズされたチェックポイントが発生し、新しいデータが利用可能になったときに完全な微調整を繰り返すことが、計算的に禁止される、大きな音声基盤モデルにとって特に魅力的である。 本研究では、マルチドメインASRとベンチマーク11のマージアルゴリズムを欧州の10のポルトガルの10のドメインにマージし、ドメイン内精度、分布シフト時のロバスト性、および英語と多言語のパフォーマンスを評価する。 さらに,TSV-Mに基づく新たなマージアルゴリズムであるBoostedTSV-Mを提案する。 全体として、我々のアプローチは、単一モデルでの配布外一般化を保ちながら、ヨーロッパポルトガル語の完全な微調整よりも優れています。

関連論文リスト

• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
  推論機能は、大きな言語モデルにとって重要なフロンティアである。 機能を効率的に補完する1つの方法は、モデルマージである。 本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T12:47:25Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic [22.73746175315071]
  ローカライズ・アンド・スティッチ(Localize-and-Stitch)は、モデルをローカライズされた方法でマージする新しいアプローチである。 提案手法は,微調整性能に寄与するスパース領域を効果的に検出できることを実証する。 また,本アルゴリズムはモデル圧縮を容易にし,事前学習した知識を保存する。
  論文  参考訳（メタデータ） (2024-08-24T19:14:02Z)
• Mitigating Catastrophic Forgetting in Language Transfer via Model Merging [16.845734486667226]
  ブランチ・アンド・マージ(BaM)は複数のモデルを反復的にマージする手法である。 BaMは、これが低等級であるがより高い品質の重量変化をもたらすという知見に基づいている。 ブルガリア語とドイツ語の実証研究において、BaMは、マッチングやターゲットドメインの性能の向上を伴いながら、忘れを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2024-07-11T17:32:40Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• Uncertainty-Aware Balancing for Multilingual and Multi-Domain Neural Machine Translation Training [58.72619374790418]
  MultiUATはモデルの不確実性に基づいてトレーニングデータの使用量を動的に調整する。 クロスドメイン転送を解析し、静的および類似性に基づく手法の欠如を示す。
  論文  参考訳（メタデータ） (2021-09-06T08:30:33Z)
• T-SVDNet: Exploring High-Order Prototypical Correlations for Multi-Source Domain Adaptation [41.356774580308986]
  マルチソースドメイン適応の課題に対処するために,T-SVDNetという新しい手法を提案する。 複数のドメインとカテゴリの高次相関は、ドメインギャップを埋めるため、完全に検討されている。 ノイズ源データによる負の伝達を回避するため,新しい不確実性を考慮した重み付け手法を提案する。
  論文  参考訳（メタデータ） (2021-07-30T06:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。