論文の概要: Effective Unsupervised Domain Adaptation with Adversarially Trained
Language Models
- arxiv url: http://arxiv.org/abs/2010.01739v1
- Date: Mon, 5 Oct 2020 01:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 21:23:12.375439
- Title: Effective Unsupervised Domain Adaptation with Adversarially Trained
Language Models
- Title(参考訳): 言語モデルを用いた効果的な教師なしドメイン適応
- Authors: Thuy-Trang Vu, Dinh Phung and Gholamreza Haffari
- Abstract要約: 注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。
本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
- 参考スコア(独自算出の注目度): 54.569004548170824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown the importance of adaptation of broad-coverage
contextualised embedding models on the domain of the target task of interest.
Current self-supervised adaptation methods are simplistic, as the training
signal comes from a small percentage of \emph{randomly} masked-out tokens. In
this paper, we show that careful masking strategies can bridge the knowledge
gap of masked language models (MLMs) about the domains more effectively by
allocating self-supervision where it is needed. Furthermore, we propose an
effective training strategy by adversarially masking out those tokens which are
harder to reconstruct by the underlying MLM. The adversarial objective leads to
a challenging combinatorial optimisation problem over \emph{subsets} of tokens,
which we tackle efficiently through relaxation to a variational lowerbound and
dynamic programming. On six unsupervised domain adaptation tasks involving
named entity recognition, our method strongly outperforms the random masking
strategy and achieves up to +1.64 F1 score improvements.
- Abstract(参考訳): 最近の研究は、対象課題の領域における広範囲のコンテキスト化埋め込みモデルの適応の重要性を示している。
現在の自己監督型適応法は、トレーニング信号がマスクアウトトークンのわずかな割合から得られるため、単純である。
本稿では,注意深いマスキング戦略が,必要な自己スーパービジョンを割り当てることで,ドメインに関するマスキング言語モデル(mlms)の知識ギャップをより効果的に橋渡しできることを示す。
さらに,MLMの再構築が困難であるトークンを逆さまにマスキングすることで,効果的なトレーニング戦略を提案する。
逆の目標は、トークンの \emph{subsets} よりも組合せ最適化の問題に挑戦し、変分下界および動的プログラミングにリラクゼーションすることで効率的に取り組む。
名前付きエンティティ認識を含む6つの教師なしドメイン適応タスクでは、ランダムマスキング戦略を強く上回り、最大+1.64 F1スコアの改善を実現している。
関連論文リスト
- Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。
我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
論文 参考訳(メタデータ) (2023-12-20T05:06:01Z) - Adaptive Distribution Masked Autoencoders for Continual Test-Time
Adaptation [49.827306773992376]
連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。
提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-12-19T15:34:52Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - Boosting Adversarial Transferability with Learnable Patch-wise Masks [16.46210182214551]
敵の例は、異なるモデル間での転送可能性のため、セキュリティクリティカルなアプリケーションで広く注目を集めている。
本稿では、モデル固有の識別領域が、ソースモデルに過度に適合し、ターゲットモデルへの転送可能性を低減する重要な要因であると論じる。
これらの領域を正確にローカライズするために,マスクの自動最適化のための学習可能なアプローチを提案する。
論文 参考訳(メタデータ) (2023-06-28T05:32:22Z) - Improving self-supervised representation learning via sequential
adversarial masking [12.176299580413097]
マスキングベースのプレテキストタスクはNLPを超えて拡張され、コンピュータビジョンにおいて有用な事前学習の目的として機能する。
敵に異なる制約で連続的にマスクを生成する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-12-16T04:25:43Z) - Towards Fewer Annotations: Active Learning via Region Impurity and
Prediction Uncertainty for Domain Adaptive Semantic Segmentation [19.55572909866489]
ドメインシフトに基づく意味的セグメンテーションのための領域ベースアクティブラーニング手法を提案する。
領域不純物・予測不確かさ(AL-RIPU)を用いた能動学習では,画像領域の空間的隣接性を特徴付ける新たな獲得戦略が導入された。
我々の手法は、教師付きパフォーマンスにほぼ到達するためにはほとんどアノテーションを必要とせず、最先端の手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2021-11-25T06:40:58Z) - Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive
Learning [62.7588467386166]
ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。
私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
論文 参考訳(メタデータ) (2021-04-22T13:39:12Z) - Neural Mask Generator: Learning to Generate Adaptive Word Maskings for
Language Model Adaptation [63.195935452646815]
本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。
本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。
我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
論文 参考訳(メタデータ) (2020-10-06T13:27:01Z) - Adversarial Augmentation Policy Search for Domain and Cross-Lingual
Generalization in Reading Comprehension [96.62963688510035]
理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過度に適合し、敵対的な評価に失敗する。
本稿では,複数の効果的な敵と自動データ拡張ポリシー探索手法を提案し,対角的評価に対して,読解理解モデルをより堅牢にすることを目的とする。
論文 参考訳(メタデータ) (2020-04-13T17:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。