論文の概要: Generalizability of Mixture of Domain-Specific Adapters from the Lens of Signed Weight Directions and its Application to Effective Model Pruning

• arxiv url: http://arxiv.org/abs/2402.10639v2
• Date: Thu, 6 Jun 2024 04:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 23:30:46.927495
• Title: Generalizability of Mixture of Domain-Specific Adapters from the Lens of Signed Weight Directions and its Application to Effective Model Pruning
• Title（参考訳）: 符号付き重み方向レンズからのドメイン特化アダプタの混合の一般化と有効モデル解析への応用
• Authors: Tuc Nguyen, Thai Le,
• Abstract要約: ドメイン固有のアダプタ混合物のドメイン内評価における一般化可能性について検討する。 また,その重みを解析することにより,ドメイン固有アダプタの内部構造についても検討する。
• 参考スコア（独自算出の注目度）: 9.250758784663411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several parameter-efficient fine-tuning methods based on adapters have been proposed as a streamlined approach to incorporate not only a single specialized knowledge into existing Pre-Trained Language Models (PLMs) but also multiple of them at once. Recent works such as AdapterSoup propose to mix not all but only a selective sub-set of domain-specific adapters during inference via model weight averaging to optimize performance on novel, unseen domains with excellent computational efficiency. However, the essential generalizability of this emerging weight-space adapter mixing mechanism on \textit{unseen, in-domain examples} remains unexplored. Thus, in this study, we conduct a comprehensive analysis to elucidate the generalizability of domain-specific adapter mixtures in in-domain evaluation. We also provide investigations into the inner workings of the mixture of domain-specific adapters by analyzing their weight signs, yielding critical analysis on the negative correlation between their fraction of weight sign difference and their mixtures' generalizability.
• Abstract（参考訳）: 従来のPLM(Pre-Trained Language Models)に1つの専門知識を組み込むだけでなく、同時に複数のパラメータを組み込む手法として、アダプタに基づくパラメータ効率の高い微調整法が提案されている。 AdapterSoupのような最近の研究は、モデルウェイト平均化による推論において、全てのドメイン固有のアダプタの選択的サブセットのみを混合し、計算効率に優れた新しい未確認領域の性能を最適化することを提案している。 しかし、この出現するウェイトスペースアダプター混合機構の本質的な一般化性は、まだ解明されていない。 そこで本研究では,ドメイン固有のアダプタ混合物のドメイン内評価における一般化性を明らかにするため,包括的解析を行った。 また, 重み符号の差分と混合剤の一般化性との負の相関関係を解析し, ドメイン固有アダプタの内部構造について検討した。

関連論文リスト

• Leveraging Normalization Layer in Adapters With Progressive Learning and Adaptive Distillation for Cross-Domain Few-Shot Learning [27.757318834190443]
  モデルはベースクラスでトレーニングされ、手元に数個のサンプルしか持たない、さまざまなドメインの新しいクラスでテストされなければならない。 本稿では,Progressive Learning and Adaptive Distillation (ProLAD) アダプタにおける正規化層を利用した新しい汎用フレームワークを提案する。 2つのアダプタのプログレッシブトレーニングと、正規化層のアダプタを欠いたモデルによって決定された特徴から導かれる適応蒸留技術である。
  論文  参考訳（メタデータ） (2023-12-18T15:02:14Z)
• AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity Matching using Adapter-tuning [3.4754314910585626]
  本稿では,アダプタをベースとした微調整PrLMのためのパラメータ効率のパラダイムを提案する。 提案手法は,フルスケールのPrLMファインチューニングとプロンプトチューニングのベースラインに匹敵する,あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-05-30T04:03:23Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Domain Adaptation Principal Component Analysis: base linear method for learning with out-of-distribution data [55.41644538483948]
  ドメイン適応は現代の機械学習において一般的なパラダイムである。 ドメイン適応主成分分析(DAPCA)という手法を提案する。 DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
  論文  参考訳（メタデータ） (2022-08-28T21:10:56Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Unsupervised Domain Adaptation with Adapter [34.22467238579088]
  本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。 いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。 2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T02:50:53Z)
• A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
  メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。 本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
  論文  参考訳（メタデータ） (2021-10-22T19:23:22Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)
• Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
  指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。 従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。 本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
  論文  参考訳（メタデータ） (2020-04-07T04:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。