論文の概要: UDApter -- Efficient Domain Adaptation Using Adapters

• arxiv url: http://arxiv.org/abs/2302.03194v1
• Date: Tue, 7 Feb 2023 02:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:44:39.773390
• Title: UDApter -- Efficient Domain Adaptation Using Adapters
• Title（参考訳）: udapter --アダプタを使った効率的なドメイン適応
• Authors: Bhavitvya Malik, Abhinav Ramesh Kashyap, Min-Yen Kan, Soujanya Poria
• Abstract要約: 教師なし領域適応をより効率的にするための2つの手法を提案する。 最初のメソッドは、UDAを2段階のプロセスに分解する。 私たちは、完全なモデルパラメータのごく一部を微調整することで、自然言語推論タスクの0.85% F1以内です。
• 参考スコア（独自算出の注目度）: 29.70751969196527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose two methods to make unsupervised domain adaptation (UDA) more parameter efficient using adapters, small bottleneck layers interspersed with every layer of the large-scale pre-trained language model (PLM). The first method deconstructs UDA into a two-step process: first by adding a domain adapter to learn domain-invariant information and then by adding a task adapter that uses domain-invariant information to learn task representations in the source domain. The second method jointly learns a supervised classifier while reducing the divergence measure. Compared to strong baselines, our simple methods perform well in natural language inference (MNLI) and the cross-domain sentiment classification task. We even outperform unsupervised domain adaptation methods such as DANN and DSN in sentiment classification, and we are within 0.85% F1 for natural language inference task, by fine-tuning only a fraction of the full model parameters. We release our code at https://github.com/declare-lab/UDAPTER
• Abstract（参考訳）: 大規模事前学習言語モデル(PLM)のすべての層に分散した小さなボトルネック層を用いて,教師なしドメイン適応(UDA)をより効率的にするための2つの手法を提案する。 最初の方法はUDAを2段階のプロセスに分解する: まずドメイン不変情報を学ぶためのドメインアダプタを追加し、次にドメイン不変情報を使ってソースドメインのタスク表現を学ぶタスクアダプタを追加する。 第2の方法は、分岐測度を低減しつつ教師付き分類器を共同で学習する。 強力なベースラインと比較すると,自然言語推論(mnli)とクロスドメイン感情分類タスクにおいて,単純な手法が有効である。 我々は、DANNやDSNのような教師なしドメイン適応手法を感情分類において上回り、完全なモデルパラメータのごく一部を微調整することで、自然言語推論タスクにおいて0.85% F1以内である。 コードをhttps://github.com/declare-lab/UDAPTERでリリースします。

関連論文リスト

• EMPL: A novel Efficient Meta Prompt Learning Framework for Few-shot Unsupervised Domain Adaptation [22.586094394391747]
  本稿では,FS-UDAのためのメタプロンプト学習フレームワークを提案する。 このフレームワークでは、事前訓練されたCLIPモデルを機能学習ベースモデルとして使用しています。 5-way 1-shotでは少なくとも15.4%,5-way 5-shotでは8.7%の大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-07-04T17:13:06Z)
• Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models Memories [31.995033685838962]
  プレトレーニング言語モデル(PLM)は、特定のドメインで苦労しながら、ジェネリックドメインのテキストを理解する優れた能力を示す。 本稿では,数個のパラメータをチューニングするだけで,PLMを効果的かつ効率的に適用できるかどうかを検討する。 具体的には、トランスフォーマーアーキテクチャのフィードフォワードネットワーク(FFN)を、旧ドメインの知識を維持するためにトレーニング済みのFFNと、ドメイン固有の知識を並列に注入するための新しいドメイン固有のアダプタの2つに分割する。
  論文  参考訳（メタデータ） (2023-06-08T17:54:36Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Deep Subdomain Adaptation Network for Image Classification [32.58984565281493]
  ディープサブドメイン適応ネットワーク(DSAN)は、ドメイン固有のレイヤアクティベーションの関連するサブドメイン分布を調整することで、転送ネットワークを学習する。 我々のDSANは非常に単純だが効果的であり、敵の訓練を必要とせず、迅速に収束する。 実験は、オブジェクト認識タスクと桁分類タスクの両方において顕著な結果を示す。
  論文  参考訳（メタデータ） (2021-06-17T11:07:21Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。