論文の概要: Efficient Domain Adaptation of Sentence Embeddings Using Adapters

• arxiv url: http://arxiv.org/abs/2307.03104v6
• Date: Sun, 24 Sep 2023 20:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 01:48:43.648344
• Title: Efficient Domain Adaptation of Sentence Embeddings Using Adapters
• Title（参考訳）: アダプタを用いた文埋め込みの効率的なドメイン適応
• Authors: Tim Schopf, Dennis N. Schneider, Florian Matthes
• Abstract要約: 特定のドメインに文を埋め込むには、良い結果を得るためにモデルを適用する必要がある。 これは、関心領域のための文埋め込みモデル全体を微調整することで行われる。 対象領域毎の文埋め込みモデルを個別に微調整する代わりに,軽量なアダプタを訓練することを提案する。 文埋め込みのパラメータ効率の良いドメイン適応にアダプタを用いることで、ドメイン適応型完全に微調整された文埋め込みモデルの1%以内の競合性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 3.3916160303055567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence embeddings enable us to capture the semantic similarity of short texts. Most sentence embedding models are trained for general semantic textual similarity tasks. Therefore, to use sentence embeddings in a particular domain, the model must be adapted to it in order to achieve good results. Usually, this is done by fine-tuning the entire sentence embedding model for the domain of interest. While this approach yields state-of-the-art results, all of the model's weights are updated during fine-tuning, making this method resource-intensive. Therefore, instead of fine-tuning entire sentence embedding models for each target domain individually, we propose to train lightweight adapters. These domain-specific adapters do not require fine-tuning all underlying sentence embedding model parameters. Instead, we only train a small number of additional parameters while keeping the weights of the underlying sentence embedding model fixed. Training domain-specific adapters allows always using the same base model and only exchanging the domain-specific adapters to adapt sentence embeddings to a specific domain. We show that using adapters for parameter-efficient domain adaptation of sentence embeddings yields competitive performance within 1% of a domain-adapted, entirely fine-tuned sentence embedding model while only training approximately 3.6% of the parameters.
• Abstract（参考訳）: 文埋め込みにより、短いテキストの意味的類似性を捉えることができる。 ほとんどの文埋め込みモデルは、一般的な意味的テキストの類似性タスクのために訓練される。 したがって、特定のドメインに文を埋め込むには、良い結果を得るためにモデルを適用する必要がある。 通常、これは関心領域の文埋め込みモデル全体を微調整することによって行われる。 このアプローチは最先端の結果をもたらすが、モデルの重みはすべて微調整中に更新され、このメソッドはリソース集約的になる。 したがって,各対象領域の文埋め込みモデル全体を個別に微調整するのではなく,軽量アダプタのトレーニングを提案する。 これらのドメイン固有のアダプタは、基礎となるすべての文埋め込みモデルパラメータを微調整する必要はない。 代わりに、基礎となる文埋め込みモデルの重みを固定しながら、少数の追加パラメータのみをトレーニングします。 ドメイン固有のアダプタのトレーニングでは、常に同じベースモデルを使用することができ、特定のドメインに文の埋め込みを適用するためにのみドメイン固有のアダプタを交換することができる。 文埋め込みのパラメータ効率のよいドメイン適応のためのアダプタを用いることで、約3.6%のパラメータをトレーニングしながら、ドメイン適応された完全に微調整された文埋め込みモデルの1%以内の競争性能が得られることを示す。

関連論文リスト

• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Union-set Multi-source Model Adaptation for Semantic Segmentation [38.72104777304245]
  モデル適応の一般的なマルチソース設定は、各ソースドメインが対象ドメインと共通のラベル空間を共有することを厳密に仮定する。 本稿では,モデル不変特徴学習という新たな学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T06:48:32Z)
• General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation [30.167332489528608]
  トレーニングキーフレーズ生成(KPG)モデルは、大量の注釈付きデータを必要とする。 KPGモデルの一般的な構文的特徴からドメイン関連セマンティクスへの学習焦点を徐々にガイドする3段階パイプラインを提案する。 実験結果から,提案手法は高品質なキーフレーズを新規ドメインで生成し,ドメイン内アノテートされた限られたデータに適応して一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-20T04:43:01Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• Unsupervised Domain Adaptation with Adapter [34.22467238579088]
  本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。 いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。 2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T02:50:53Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Iterative Domain-Repaired Back-Translation [50.32925322697343]
  本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。 本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。 提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
  論文  参考訳（メタデータ） (2020-10-06T04:38:09Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。