論文の概要: Bayesian Low-Rank Factorization for Robust Model Adaptation

• arxiv url: http://arxiv.org/abs/2510.18723v1
• Date: Tue, 21 Oct 2025 15:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.822569
• Title: Bayesian Low-Rank Factorization for Robust Model Adaptation
• Title（参考訳）: ロバストモデル適応のためのベイズ的低ランク因子化
• Authors: Enes Yavuz Ugan, Ngoc-Quan Pham, Alexander Waibel,
• Abstract要約: 本研究では,音声基礎モデルに対する因子化アダプタについて検討し,前処理をゼロに近い位置で行うことで,スペーサー適応行列を実現する。 その結果, 適応損失は最小限に抑えられたが, 基礎モデルの破滅的忘れを著しく減らした。
• 参考スコア（独自算出の注目度）: 60.296574524609575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large speech foundation models achieve strong performance across many domains, but they often require adaptation to handle local needs such as code-switching, where speakers mix languages within the same utterance. Direct fine-tuning of these models risks overfitting to the target domain and overwriting the broad capabilities of the base model. To address this challenge, we explore Bayesian factorized adapters for speech foundation models, which place priors near zero to achieve sparser adaptation matrices and thereby retain general performance while adapting to specific domains. We apply our approach to the Whisper model and evaluate on different multilingual code-switching scenarios. Our results show only minimal adaptation loss while significantly reducing catastrophic forgetting of the base model. Compared to LoRA, our method achieves a backward gain of 54% with only a 4% drop on the new domain. These findings highlight the effectiveness of Bayesian adaptation for fine-tuning speech foundation models without sacrificing generalization.
• Abstract（参考訳）: 大規模な音声基礎モデルは、多くの領域で高いパフォーマンスを達成するが、話者が同じ発話の中で言語を混合するコードスイッチングのような局所的なニーズに適応する必要があることが多い。 これらのモデルの直接的な微調整は、ターゲットドメインに過度に適合し、ベースモデルの幅広い能力を上書きするリスクがある。 この課題に対処するため、ベイジアン因子化言語基礎モデルのアダプタを探索し、前処理をゼロに近づき、スペーサー適応行列を達成し、特定の領域に適応しながら一般的な性能を維持する。 我々は、Whisperモデルにアプローチを適用し、異なる多言語コードスイッチングシナリオについて評価する。 その結果, 適応損失は最小限に抑えられたが, 基礎モデルの破滅的忘れを著しく減らした。 LoRAと比較すると,新しい領域では4%の低下しかみられず,54%の後退率を得ることができた。 これらの結果は, 一般化を犠牲にすることなく, 微調整音声基礎モデルに対するベイズ適応の有効性を浮き彫りにした。

関連論文リスト

• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
  音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上 低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。 これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
  論文  参考訳（メタデータ） (2024-11-27T10:51:00Z)
• Mitigating Catastrophic Forgetting in Language Transfer via Model Merging [16.845734486667226]
  ブランチ・アンド・マージ(BaM)は複数のモデルを反復的にマージする手法である。 BaMは、これが低等級であるがより高い品質の重量変化をもたらすという知見に基づいている。 ブルガリア語とドイツ語の実証研究において、BaMは、マッチングやターゲットドメインの性能の向上を伴いながら、忘れを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2024-07-11T17:32:40Z)
• Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild [4.304803366354879]
  本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。 モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
  論文  参考訳（メタデータ） (2023-03-05T21:41:16Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。