論文の概要: Plug-and-Play Transformer Modules for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2401.04130v2
• Date: Wed, 10 Jan 2024 07:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 11:48:49.460504
• Title: Plug-and-Play Transformer Modules for Test-Time Adaptation
• Title（参考訳）: テスト時間適応のためのPlug-and-Play変換モジュール
• Authors: Xiangyu Chang, Sk Miraj Ahmed, Srikanth V. Krishnamurthy, Basak Guler, Ananthram Swami, Samet Oymak, Amit K. Roy-Chowdhury
• Abstract要約: PLUTO: Plug-and-pLay modUlar Test-time Domain AdatiOn戦略を紹介する。 私たちは、それぞれ異なるソースドメインに特化した、大規模なモジュールセットを事前訓練します。 単一の推論コールで複数の最も関連性の高いソースドメインを利用する。
• 参考スコア（独自算出の注目度）: 54.80435317208111
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Parameter-efficient tuning (PET) methods such as LoRA, Adapter, and Visual Prompt Tuning (VPT) have found success in enabling adaptation to new domains by tuning small modules within a transformer model. However, the number of domains encountered during test time can be very large, and the data is usually unlabeled. Thus, adaptation to new domains is challenging; it is also impractical to generate customized tuned modules for each such domain. Toward addressing these challenges, this work introduces PLUTO: a Plug-and-pLay modUlar Test-time domain adaptatiOn strategy. We pre-train a large set of modules, each specialized for different source domains, effectively creating a ``module store''. Given a target domain with few-shot unlabeled data, we introduce an unsupervised test-time adaptation (TTA) method to (1) select a sparse subset of relevant modules from this store and (2) create a weighted combination of selected modules without tuning their weights. This plug-and-play nature enables us to harness multiple most-relevant source domains in a single inference call. Comprehensive evaluations demonstrate that PLUTO uniformly outperforms alternative TTA methods and that selecting $\leq$5 modules suffice to extract most of the benefit. At a high level, our method equips pre-trained transformers with the capability to dynamically adapt to new domains, motivating a new paradigm for efficient and scalable domain adaptation.
• Abstract（参考訳）: LoRA、Adapter、Visual Prompt Tuning (VPT) などのPET手法は、トランスフォーマーモデル内の小さなモジュールをチューニングすることで、新しいドメインへの適応を可能にすることに成功した。 しかし、テスト期間中に遭遇するドメインの数は膨大であり、通常はラベル付けされていない。 したがって、新しいドメインへの適応は困難であり、これらのドメインごとにカスタマイズされたチューニングモジュールを生成するのも現実的ではない。 これらの課題に対処するために、PLUTO: Plug-and-pLay modUlar Test-time Domain AdaptatiOn戦略を紹介します。 私たちは多数のモジュールを事前トレーニングし、それぞれ異なるソースドメインに特化しており、実質的に ``module store'' を作成します。 ラベルなしデータの少ない対象領域を前提として,(1)関連モジュールのスパース部分集合をこのストアから選択するための教師なしテスト時間適応(TTA)手法を導入し,(2)重みを調整せずに選択したモジュールの組み合わせを重み付けする。 このプラグアンドプレイの性質により、複数の最も関連性の高いソースドメインを単一の推論コールで利用することができます。 総合的な評価は、PLUTOが代替のTTAメソッドを均一に上回り、$\leq$5モジュールを選択することは、利益のほとんどを抽出するのに十分であることを示している。 提案手法は,高速かつスケーラブルなドメイン適応のための新しいパラダイムをモチベーションとして,事前学習したトランスフォーマーに新しいドメインへの動的適応能力を持たせる。

関連論文リスト

• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Agile Multi-Source-Free Domain Adaptation [25.06352660046911]
  Bi-level Attention ENsemble (Bi-ATEN)モジュールは、ドメイン内の重みとドメイン間のアンサンブル重みの両方を学習し、インスタンス特異性とドメイン整合性の微妙なバランスを達成する。 3%未満のトレーニングパラメータと8倍のスループットを持つ、挑戦的なベンチマークであるDomainNetでは、SOTA法と比較して、同等あるいは優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-03-08T05:17:10Z)
• Virtual Classification: Modulating Domain-Specific Knowledge for Multidomain Crowd Counting [67.38137379297717]
  マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。 ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。 マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:49:04Z)
• TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
  本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。 TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。 メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
  論文  参考訳（メタデータ） (2023-05-22T04:53:59Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Improving Transferability for Domain Adaptive Detection Transformers [34.61314708197079]
  本稿では,ドメインシフト設定に基づくDETR型検出器を用いた,シンプルで効果的なベースラインの構築を目的とする。 ひとつは、バックボーン上のドメインシフトを緩和し、デコーダ出力が望ましい結果を得るのに優れていることです。 また、両方の部分における高度なドメインアライメント手法により、パフォーマンスがさらに向上する。
  論文  参考訳（メタデータ） (2022-04-29T16:27:10Z)
• Unsupervised Domain Adaptation with Adapter [34.22467238579088]
  本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。 いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。 2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T02:50:53Z)
• Dynamic Transfer for Multi-Source Domain Adaptation [82.54405157719641]
  モデルパラメータがサンプルに適合する領域の競合に対処するために動的転送を提案する。 ソースドメインの障壁を壊し、マルチソースドメインを単一ソースドメインに変換する。 実験の結果, ドメインラベルを使わずに, 動的移動は最先端の手法よりも3%以上優れていた。
  論文  参考訳（メタデータ） (2021-03-19T01:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。