論文の概要: Upcycling Language Models for Multiple Specialized Domains

• arxiv url: http://arxiv.org/abs/2610.40091v1
• Date: Thu, 29 Oct 2026 13:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.094198
• Title: Upcycling Language Models for Multiple Specialized Domains
• Title（参考訳）: 複数の特化ドメインのためのアップサイクリング言語モデル
• Abstract要約: 大規模言語モデルのマルチドメイン適応には、関係のないドメインからの干渉を最小限に抑えながら、関連するドメイン知識の優先順位付けが必要である。 既存のアプローチでは、Low-Rank Adaptation (LoRA) を使用してドメイン毎に個別のアダプタをトレーニングし、これらのアダプタを1つのモデルで組み合わせている。 マルチドメイン適応のためのドメイン特化アップサイクリング(DS-Upcycling)を提案する。
• 参考スコア（独自算出の注目度）: 31.301303572996545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective multi-domain adaptation of large language models requires prioritizing relevant domain knowledge while minimizing interference from irrelevant domains. Existing approaches commonly use Low-Rank Adaptation (LoRA) to train a separate adapter for each domain and combine these adapters within one model. However, they either weight adapters equally regardless of the input domain or dynamically weight adapters while still activating all of them including irrelevant ones. Additionally, while efficient, their low-rank structure limits performance. In contrast, upcycling is a model expansion method that adds experts and a router to a dense Transformer layer offering larger capacity than LoRA approaches. In this paper, we propose Domain-Specialized Upcycling (DS-Upcycling) for multi-domain adaptation. We introduce a new domain-aware supervision that allows the router to effectively learn to distinguish domains by selecting the appropriate experts. During fine-tuning on each new domain, we update only the corresponding expert and router while freezing all other parameters. Experiments show that our method achieves the highest average performance across the adapted domains compared to baselines while retaining general performance. With just 256 examples per domain for router supervision, DS-Upcycling achieves 90-98% routing accuracy after adaptation compared with 43-70% for routers trained without our approach.
• Abstract（参考訳）: 大規模言語モデルの効果的なマルチドメイン適応には、関係のないドメインからの干渉を最小限に抑えながら、関連するドメイン知識を優先順位付けする必要がある。 既存のアプローチでは、Low-Rank Adaptation (LoRA) を使用してドメイン毎に個別のアダプタをトレーニングし、これらのアダプタを1つのモデルで組み合わせている。 しかし、入力ドメインに関係なく、あるいは動的に重み付けアダプタを等しく重み付けし、無関係なアダプタを含む全てのアダプタを活性化させる。 さらに、効率的ではあるが、その低ランク構造は性能を制限している。 対照的に、アップサイクリングは、専門家とルータをLoRAアプローチよりも大きなキャパシティを提供する高密度トランスフォーマー層に追加するモデル拡張手法である。 本稿では,マルチドメイン適応のためのドメイン特化アップサイクリング(DS-Upcycling)を提案する。 我々は、ルータが適切な専門家を選択することで、ドメインの識別を効果的に学べるように、新しいドメイン認識監視を導入する。 新しいドメインごとに微調整を行う際、対応する専門家とルータのみを更新し、他のパラメータをすべて凍結する。 実験により,本手法は汎用性能を維持しつつ,ベースラインに比べて適応領域全体の平均性能を最大化できることが示された。 1ドメインあたり256の例でルータの監視を行うと、DS-Upcyclingは適応後の90-98%のルーティング精度を達成できます。

関連論文リスト

• Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation [0.0]
  Self-Routed Adaptersは、マルチドメイン視覚適応のためのコンパクトなフレームワークである。 外部ゲーティングネットワークを使わずにサンプル特異的適応行列を生成する。 これは、MoEスタイルのPEFTベースラインよりも、競争力のある平均精度またはわずかに強い平均精度を達成する。
  論文  参考訳（メタデータ） (2026-08-17T10:35:36Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks [0.0]
  そこで本研究では,StyleGAN2の3000万重量ではなく,6千次元ベクトルのみを最適化し,対象領域に適応する新しい領域変調手法を提案する。 最適化パラメータ空間の縮小に着想を得て, GANの多領域適応の問題を考える。 対象ドメインからパラメータ化を予測するハイパーネットワークであるHyperDomainNetを提案する。
  論文  参考訳（メタデータ） (2022-10-17T09:27:39Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。