論文の概要: Generalizability of Mixture of Domain-Specific Adapters from the Lens of
Signed Weight Directions and its Application to Effective Model Pruning
- arxiv url: http://arxiv.org/abs/2402.10639v1
- Date: Fri, 16 Feb 2024 12:39:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:29:49.172264
- Title: Generalizability of Mixture of Domain-Specific Adapters from the Lens of
Signed Weight Directions and its Application to Effective Model Pruning
- Title（参考訳）: 符号付き重量方向レンズからのドメイン固有アダプタの混合の一般化とその有効モデルプルーニングへの応用
- Authors: Tuc Nguyen and Thai Le
- Abstract要約: ドメイン固有のアダプタ混合物のドメイン内評価における一般化可能性について検討する。
また,その重みを解析することにより,ドメイン固有アダプタの内部構造についても検討する。
- 参考スコア（独自算出の注目度）: 10.92854604130632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several parameter-efficient fine-tuning methods based on adapters have been
proposed as a streamlined approach to incorporate not only a single specialized
knowledge into existing Pre-Trained Language Models (PLMs) but also multiple of
them at once. Recent works such as AdapterSoup propose to mix not all but only
a selective sub-set of domain-specific adapters during inference via model
weight averaging to optimize performance on novel, unseen domains with
excellent computational efficiency. However, the essential generalizability of
this emerging weight-space adapter mixing mechanism on unseen, in-domain
examples remains unexplored. Thus, in this study, we conduct a comprehensive
analysis to elucidate the generalizability of domain-specific adapter mixtures
in in-domain evaluation. We also provide investigations into the inner workings
of the mixture of domain-specific adapters by analyzing their weight signs,
yielding critical analysis on the negative correlation between their fraction
of weight sign difference and their mixtures' generalizability. All source code
will be published.
- Abstract（参考訳）: 従来のPLM(Pre-Trained Language Models)に1つの専門知識を組み込むだけでなく、同時に複数のパラメータを組み込む手法として、アダプタに基づくパラメータ効率の高い微調整法が提案されている。
AdapterSoupのような最近の研究は、モデルウェイト平均化による推論において、全てのドメイン固有のアダプタの選択的サブセットのみを混合し、計算効率に優れた新しい未確認領域の性能を最適化することを提案している。
しかし、この新興の重み空間アダプタの混合機構が、ドメイン内例に与える本質的な一般化性は未定である。
そこで本研究では,ドメイン固有のアダプタ混合物のドメイン内評価における一般化性を明らかにするため,包括的解析を行った。
また, 重み記号を解析することにより, ドメイン固有アダプタの混合物の内部動作に関する調査を行い, 重み記号差の分数と混合物の一般化可能性との負の相関性について批判的な分析を行った。
すべてのソースコードが公開される。
関連論文リスト
- Leveraging Normalization Layer in Adapters With Progressive Learning and
Adaptive Distillation for Cross-Domain Few-Shot Learning [27.757318834190443]
モデルはベースクラスでトレーニングされ、手元に数個のサンプルしか持たない、さまざまなドメインの新しいクラスでテストされなければならない。
本稿では,Progressive Learning and Adaptive Distillation (ProLAD) アダプタにおける正規化層を利用した新しい汎用フレームワークを提案する。
2つのアダプタのプログレッシブトレーニングと、正規化層のアダプタを欠いたモデルによって決定された特徴から導かれる適応蒸留技術である。
論文 参考訳（メタデータ） (2023-12-18T15:02:14Z) - One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from
Electromagnetic Solvers [57.441926088870325]
Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。
本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-06T20:28:37Z) - AdapterSoup: Weight Averaging to Improve Generalization of Pretrained
Language Models [127.04370753583261]
事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。
解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。
本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
論文 参考訳（メタデータ） (2023-02-14T13:09:23Z) - Domain Generalization through the Lens of Angular Invariance [44.76809026901016]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインで訓練された分類器を、ドメインシフトを伴う見えないターゲットドメインに一般化することを目的としている。
我々は、Angular Invariance Domain Generalization Network (AIDGN) と呼ばれる新しいディープDG手法を提案する。
論文 参考訳（メタデータ） (2022-10-28T02:05:38Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳（メタデータ） (2022-08-28T21:10:56Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T08:06:50Z) - Unsupervised Domain Adaptation with Adapter [34.22467238579088]
本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。
いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。
2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
論文 参考訳（メタデータ） (2021-11-01T02:50:53Z) - A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。
本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
論文 参考訳（メタデータ） (2021-10-22T19:23:22Z) - Multi-source Heterogeneous Domain Adaptation with Conditional Weighting
Adversarial Network [18.168373838347126]
不均一領域適応(HDA)は、異なる確率分布と特徴表現の両方を持つクロスドメインサンプルの学習に取り組む。
本稿では,マルチソースHDA問題について検討し,それに対応する条件重み付き対向ネットワーク(CWAN)を提案する。
論文 参考訳（メタデータ） (2020-08-06T15:31:44Z) - Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。
従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。
本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
論文 参考訳（メタデータ） (2020-04-07T04:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。