論文の概要: Efficient Hierarchical Domain Adaptation for Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2112.08786v1
• Date: Thu, 16 Dec 2021 11:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 15:57:31.341833
• Title: Efficient Hierarchical Domain Adaptation for Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルに対する効率的な階層型ドメイン適応
• Authors: Alexandra Chronopoulou, Matthew E. Peters, Jesse Dodge
• Abstract要約: 生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
• 参考スコア（独自算出の注目度）: 77.02962815423658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative language models are trained on diverse, general domain corpora. However, this limits their applicability to narrower domains, and prior work has shown that continued in-domain training can provide further gains. In this paper, we introduce a method to scale domain adaptation to many diverse domains using a computationally efficient adapter approach. Our method is based on the observation that textual domains are partially overlapping, and we represent domains as a hierarchical tree structure where each node in the tree is associated with a set of adapter weights. When combined with a frozen pretrained language model, this approach enables parameter sharing among related domains, while avoiding negative interference between unrelated ones. It is efficient and computational cost scales as O(log(D)) for D domains. Experimental results with GPT-2 and a large fraction of the 100 most represented websites in C4 show across-the-board improvements in-domain. We additionally provide an inference time algorithm for a held-out domain and show that averaging over multiple paths through the tree enables further gains in generalization, while adding only a marginal cost to inference.
• Abstract（参考訳）: 生成言語モデルは、多種多様な一般的なドメインコーパスで訓練される。 しかし、これにより適用範囲は狭くなり、以前の研究では、ドメイン内トレーニングの継続がさらなる利益をもたらすことが示されている。 本稿では,計算効率のよいアダプタアプローチを用いて,多種多様なドメインへのドメイン適応をスケールする手法を提案する。 本手法は,テキストドメインが部分的に重なり合っているという観測に基づいており,木の各ノードがアダプタ重みの集合に関連付けられている階層木構造としてドメインを表現する。 凍結された事前学習された言語モデルと組み合わせると、このアプローチは関連ドメイン間のパラメータ共有を可能にし、非関連ドメイン間の負の干渉を回避する。 dドメインのo(log(d))として効率的で計算コストがスケールする。 gpt-2による実験結果と、c4で最も代表される100のウェブサイトの大部分がドメイン内で改善されている。 さらに、保留領域に対する推論時間アルゴリズムを提供し、ツリーを経由する複数のパスの平均値が、推論に限界コストを付加しながら、一般化のさらなる向上を可能にすることを示した。

関連論文リスト

• DAOT: Domain-Agnostically Aligned Optimal Transport for Domain-Adaptive Crowd Counting [35.83485358725357]
  ドメイン適応は一般的に、異なるデータセット間のドメインギャップをブリッジするために、群衆カウントに使用される。 既存のドメイン適応手法は、同じデータセット内の差を見下ろしながら、データセット間の違いに焦点を当てる傾向がある。 ドメインに依存しない要素をドメイン間で整合させるDAOT(Domain-Agnostically Aligned Optimal Transport)戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-10T02:59:40Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• M2D2: A Massively Multi-domain Language Modeling Dataset [76.13062203588089]
  ドメイン適応(LM)を研究するための細粒度多ドメインコーパスM2D2を提案する。 ウィキペディアとArXivから派生したカテゴリを用いて、各データソース内のドメインを22のグループに分類する。 我々は、LMをドメイン階層に沿って適用することの利点を示し、より少量のドメイン固有のデータに適応することで、ドメイン内のパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-10-13T21:34:52Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Adaptive Methods for Aggregated Domain Generalization [26.215904177457997]
  多くの設定において、プライバシに関する懸念は、トレーニングデータサンプルのドメインラベルを取得することを禁止している。 本稿では,この問題に対するドメイン適応的アプローチを提案する。 提案手法は,ドメインラベルを使わずに,様々な領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-09T08:57:01Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Adaptive Methods for Real-World Domain Generalization [32.030688845421594]
  本研究では、未確認の試験サンプルからドメイン情報を活用できるかどうかを検討する。 a) 教師なしのトレーニング例から識別的ドメイン埋め込みを最初に学び、b) このドメイン埋め込みを補足的な情報として使ってドメイン適応モデルを構築する。 提案手法は,各種領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-29T17:44:35Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。