論文の概要: Generalizability of Mixture of Domain-Specific Adapters from the Lens of
Signed Weight Directions and its Application to Effective Model Pruning
- arxiv url: http://arxiv.org/abs/2402.10639v1
- Date: Fri, 16 Feb 2024 12:39:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:29:49.172264
- Title: Generalizability of Mixture of Domain-Specific Adapters from the Lens of
Signed Weight Directions and its Application to Effective Model Pruning
- Title（参考訳）: 符号付き重量方向レンズからのドメイン固有アダプタの混合の一般化とその有効モデルプルーニングへの応用
- Authors: Tuc Nguyen and Thai Le
- Abstract要約: ドメイン固有のアダプタ混合物のドメイン内評価における一般化可能性について検討する。
また,その重みを解析することにより,ドメイン固有アダプタの内部構造についても検討する。
- 参考スコア（独自算出の注目度）: 10.92854604130632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several parameter-efficient fine-tuning methods based on adapters have been
proposed as a streamlined approach to incorporate not only a single specialized
knowledge into existing Pre-Trained Language Models (PLMs) but also multiple of
them at once. Recent works such as AdapterSoup propose to mix not all but only
a selective sub-set of domain-specific adapters during inference via model
weight averaging to optimize performance on novel, unseen domains with
excellent computational efficiency. However, the essential generalizability of
this emerging weight-space adapter mixing mechanism on unseen, in-domain
examples remains unexplored. Thus, in this study, we conduct a comprehensive
analysis to elucidate the generalizability of domain-specific adapter mixtures
in in-domain evaluation. We also provide investigations into the inner workings
of the mixture of domain-specific adapters by analyzing their weight signs,
yielding critical analysis on the negative correlation between their fraction
of weight sign difference and their mixtures' generalizability. All source code
will be published.
- Abstract（参考訳）: 従来のPLM(Pre-Trained Language Models)に1つの専門知識を組み込むだけでなく、同時に複数のパラメータを組み込む手法として、アダプタに基づくパラメータ効率の高い微調整法が提案されている。
AdapterSoupのような最近の研究は、モデルウェイト平均化による推論において、全てのドメイン固有のアダプタの選択的サブセットのみを混合し、計算効率に優れた新しい未確認領域の性能を最適化することを提案している。
しかし、この新興の重み空間アダプタの混合機構が、ドメイン内例に与える本質的な一般化性は未定である。
そこで本研究では,ドメイン固有のアダプタ混合物のドメイン内評価における一般化性を明らかにするため,包括的解析を行った。
また, 重み記号を解析することにより, ドメイン固有アダプタの混合物の内部動作に関する調査を行い, 重み記号差の分数と混合物の一般化可能性との負の相関性について批判的な分析を行った。
すべてのソースコードが公開される。
関連論文リスト
- Adaptive Mixture Importance Sampling for Automated Ads Auction Tuning [5.775059611731882]
本稿では,大規模レコメンデータシステムにおいて鍵性能指標(KPI)を最適化するための新しいアプローチとして,アダプティブミックスコンパタンスサンプリング(AMIS)を提案する。
大規模なオフラインシミュレーションにより、AMISはノイズの多い環境で単純なガウスの重要度サンプリング(GIS)を著しく上回ることを示す。
提案手法は,大規模検索エンジン上でのオンラインA/B実験を通じて実世界のシナリオで検証される。
論文 参考訳（メタデータ） (2024-09-20T17:03:43Z) - AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity
Matching using Adapter-tuning [3.4754314910585626]
本稿では,アダプタをベースとした微調整PrLMのためのパラメータ効率のパラダイムを提案する。
提案手法は,フルスケールのPrLMファインチューニングとプロンプトチューニングのベースラインに匹敵する,あるいは優れた性能を実現する。
論文 参考訳（メタデータ） (2023-05-30T04:03:23Z) - AdapterSoup: Weight Averaging to Improve Generalization of Pretrained
Language Models [127.04370753583261]
事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。
解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。
本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
論文 参考訳（メタデータ） (2023-02-14T13:09:23Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳（メタデータ） (2022-08-28T21:10:56Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T08:06:50Z) - Unsupervised Domain Adaptation with Adapter [34.22467238579088]
本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。
いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。
2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
論文 参考訳（メタデータ） (2021-11-01T02:50:53Z) - A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。
本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
論文 参考訳（メタデータ） (2021-10-22T19:23:22Z) - Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。
本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文 参考訳（メタデータ） (2020-08-27T00:53:43Z) - Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。
従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。
本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
論文 参考訳（メタデータ） (2020-04-07T04:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。