論文の概要: AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2311.00408v1
• Date: Wed, 1 Nov 2023 10:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:08:40.231435
• Title: AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification
• Title（参考訳）: AdaSent: Few-Shot分類のための効率的なドメイン適応文埋め込み
• Authors: Yongxin Huang, Kexin Wang, Sourav Dutta, Raj Nath Patel, Goran Glava\v{s}, Iryna Gurevych
• Abstract要約: 事前学習文(SEs)に基づく文章分類は効率的で堅牢で効果的である。 本稿では, DAPT から SEPT を分離する AdaSent を提案する。 AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。
• 参考スコア（独自算出の注目度）: 53.84663977283108
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent work has found that few-shot sentence classification based on pre-trained Sentence Encoders (SEs) is efficient, robust, and effective. In this work, we investigate strategies for domain-specialization in the context of few-shot sentence classification with SEs. We first establish that unsupervised Domain-Adaptive Pre-Training (DAPT) of a base Pre-trained Language Model (PLM) (i.e., not an SE) substantially improves the accuracy of few-shot sentence classification by up to 8.4 points. However, applying DAPT on SEs, on the one hand, disrupts the effects of their (general-domain) Sentence Embedding Pre-Training (SEPT). On the other hand, applying general-domain SEPT on top of a domain-adapted base PLM (i.e., after DAPT) is effective but inefficient, since the computationally expensive SEPT needs to be executed on top of a DAPT-ed PLM of each domain. As a solution, we propose AdaSent, which decouples SEPT from DAPT by training a SEPT adapter on the base PLM. The adapter can be inserted into DAPT-ed PLMs from any domain. We demonstrate AdaSent's effectiveness in extensive experiments on 17 different few-shot sentence classification datasets. AdaSent matches or surpasses the performance of full SEPT on DAPT-ed PLM, while substantially reducing the training costs. The code for AdaSent is available.
• Abstract（参考訳）: 近年の研究では、事前訓練された文エンコーダ(SEs)に基づく小文字の文分類が効率的で堅牢で効果的であることが判明している。 本稿では,sesを用いた小節文分類の文脈におけるドメイン特化戦略について検討する。 まず,基礎となる事前訓練言語モデル (PLM) の教師なしドメイン適応事前学習 (DAPT) が,最大8.4ポイントの誤り文分類の精度を大幅に向上させることを確認した。 しかし、DAPTをSEに適用すると、その(一般ドメイン) Sentence Embedding Pre-Training (SEPT) の効果を阻害する。 一方、一般ドメインSEPTをドメイン適応型ベースPLM(すなわちDAPT後)の上に適用することは効率的であるが、各ドメインのDAPT付きPLM上で計算コストの高いSEPTを実行する必要があるため、非効率である。 そこで本研究では,septアダプタをベースplm上でトレーニングすることでseptをdasentから分離するadasentを提案する。 アダプタは任意のドメインからDAPT-ed PLMに挿入できる。 AdaSentの有効性を、17種類の連発文分類データセットの広範な実験で実証する。 AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。 AdaSentのコードは利用可能だ。

関連論文リスト

• DAdEE: Unsupervised Domain Adaptation in Early Exit PLMs [5.402030962296633]
  Early Exit(EE)戦略は、中間層にアタッチされた分類器からサンプルを退避させることによって問題に対処する。 本稿では,知識蒸留を用いた多段階適応を用いた非教師付き領域適応型EEフレームワーク(DADEE)を提案する。 感情分析、エンテーメント分類、自然言語推論などのタスクの実験は、DADEEが早期出口法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-06T09:44:58Z)
• How Useful is Continued Pre-Training for Generative Unsupervised Domain Adaptation? [23.454153602068786]
  生成型UDAにおけるCPT(Continuoused Pre-Training)の有用性について検討した。 以上の結果から,下流の課題を暗黙的に学習し,その課題に有意なマスク付き単語を予測できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-31T00:15:34Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• FDAPT: Federated Domain-adaptive Pre-training for Language Models [15.755622890097941]
  本稿では,DAPT(Domain-Adaptive Pre-Training)の具体例について述べる。 FDAPT(Federated Domain-Adaptive Pre-Training)の成績を評価するための総合的実証的研究を行った。 我々はFFDAPT(Frozen Federated Domain-Adaptive Pre-Training)という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:04:28Z)
• Towards Simple and Efficient Task-Adaptive Pre-training for Text Classification [0.7874708385247353]
  TAPTおよびタスク固有の微調整において,埋め込み層のみの学習がモデルの性能に及ぼす影響について検討した。 TAPT中のBERT埋め込み層のみのトレーニングは、ターゲットドメインの語彙に適応し、同等の性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:12Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Re-energizing Domain Discriminator with Sample Relabeling for Adversarial Domain Adaptation [88.86865069583149]
  Unsupervised Domain Adapt (UDA)メソッドは、ドメインの競合トレーニングを利用して、機能を調整してドメインのギャップを減らす。 本研究では,Re-enforceable Adversarial Domain Adaptation (RADA) と呼ばれる効率的な最適化戦略を提案する。 RADAは、動的ドメインラベルを使用して、トレーニング中にドメイン識別器を再活性化することを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:32:55Z)
• Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation [76.41664929948607]
  半教師付き領域適応(SSDA)法は,大規模な画像分類タスクにおいて大きな可能性を示している。 本稿では、ドメイン間およびドメイン内セマンティック情報を効果的に伝達することにより、この問題に対処する新しい効果的な方法を提案する。 ソースコードと事前訓練されたモデルも間もなくリリースされる予定です。
  論文  参考訳（メタデータ） (2020-12-04T14:28:19Z)
• Rethinking Distributional Matching Based Domain Adaptation [111.15106414932413]
  ドメイン適応(DA)は、ラベル付きソースドメインでトレーニングされた予測モデルをラベル付きターゲットドメインに転送するテクニックである。 最も一般的なDAアルゴリズムは、分散マッチング(DM)に基づいている。 本稿では,まずDMに基づく手法の限界を体系的に分析し,さらに現実的なドメインシフトを持つ新しいベンチマークを構築する。
  論文  参考訳（メタデータ） (2020-06-23T21:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。