論文の概要: Unsupervised Domain Adaptation with Adapter

• arxiv url: http://arxiv.org/abs/2111.00667v1
• Date: Mon, 1 Nov 2021 02:50:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-11-02 14:57:24.044471
• Title: Unsupervised Domain Adaptation with Adapter
• Title（参考訳）: Adapterによる教師なしドメイン適応
• Authors: Rongsheng Zhang, Yinhe Zheng, Xiaoxi Mao, Minlie Huang
• Abstract要約: 本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。 いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。 2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
• 参考スコア（独自算出の注目度）: 34.22467238579088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) with pre-trained language models (PrLM) has achieved promising results since these pre-trained models embed generic knowledge learned from various domains. However, fine-tuning all the parameters of the PrLM on a small domain-specific corpus distort the learned generic knowledge, and it is also expensive to deployment a whole fine-tuned PrLM for each domain. This paper explores an adapter-based fine-tuning approach for unsupervised domain adaptation. Specifically, several trainable adapter modules are inserted in a PrLM, and the embedded generic knowledge is preserved by fixing the parameters of the original PrLM at fine-tuning. A domain-fusion scheme is introduced to train these adapters using a mix-domain corpus to better capture transferable features. Elaborated experiments on two benchmark datasets are carried out, and the results demonstrate that our approach is effective with different tasks, dataset sizes, and domain similarities.
• Abstract（参考訳）: 事前学習言語モデル(PrLM)を用いた教師なしドメイン適応(UDA)は、これらの事前学習モデルが様々なドメインから学んだ一般的な知識を組み込んでいるため、有望な結果を得た。 しかし、小さなドメイン固有のコーパス上でprlmの全てのパラメータを微調整することは、学習されたジェネリック知識を歪め、また各ドメインに微調整されたprlm全体を配置するコストも高くなる。 本稿では,教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。 具体的には、いくつかのトレーニング可能なアダプタモジュールをPrLMに挿入し、元のPrLMのパラメータを微調整時に固定することで、組み込みの汎用知識を保存する。 これらのアダプタをmix-domainコーパスを使ってトレーニングするためにdomain-fusionスキームが導入された。 2つのベンチマークデータセットに関する詳細な実験を行い,提案手法が異なるタスク,データセットサイズ,ドメイン類似性において有効であることを示す。

関連論文リスト

• Compositional Semantic Mix for Domain Adaptation in Point Cloud Segmentation [65.78246406460305]
  合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。 本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T14:43:36Z)
• Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models Memories [31.995033685838962]
  プレトレーニング言語モデル(PLM)は、特定のドメインで苦労しながら、ジェネリックドメインのテキストを理解する優れた能力を示す。 本稿では,数個のパラメータをチューニングするだけで,PLMを効果的かつ効率的に適用できるかどうかを検討する。 具体的には、トランスフォーマーアーキテクチャのフィードフォワードネットワーク(FFN)を、旧ドメインの知識を維持するためにトレーニング済みのFFNと、ドメイン固有の知識を並列に注入するための新しいドメイン固有のアダプタの2つに分割する。
  論文  参考訳（メタデータ） (2023-06-08T17:54:36Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Adaptive Methods for Real-World Domain Generalization [32.030688845421594]
  本研究では、未確認の試験サンプルからドメイン情報を活用できるかどうかを検討する。 a) 教師なしのトレーニング例から識別的ドメイン埋め込みを最初に学び、b) このドメイン埋め込みを補足的な情報として使ってドメイン適応モデルを構築する。 提案手法は,各種領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-29T17:44:35Z)
• Self-Domain Adaptation for Face Anti-Spoofing [31.441928816043536]
  推論時にラベルのないテストドメインデータを利用するための自己ドメイン適応フレームワークを提案する。 トレーニングステップで複数のソースドメインのデータを用いて,メタラーニングに基づく適応学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-24T08:46:39Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。