論文の概要: Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models

• arxiv url: http://arxiv.org/abs/2010.01739v1
• Date: Mon, 5 Oct 2020 01:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:23:12.375439
• Title: Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models
• Title（参考訳）: 言語モデルを用いた効果的な教師なしドメイン適応
• Authors: Thuy-Trang Vu, Dinh Phung and Gholamreza Haffari
• Abstract要約: 注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 54.569004548170824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown the importance of adaptation of broad-coverage contextualised embedding models on the domain of the target task of interest. Current self-supervised adaptation methods are simplistic, as the training signal comes from a small percentage of \emph{randomly} masked-out tokens. In this paper, we show that careful masking strategies can bridge the knowledge gap of masked language models (MLMs) about the domains more effectively by allocating self-supervision where it is needed. Furthermore, we propose an effective training strategy by adversarially masking out those tokens which are harder to reconstruct by the underlying MLM. The adversarial objective leads to a challenging combinatorial optimisation problem over \emph{subsets} of tokens, which we tackle efficiently through relaxation to a variational lowerbound and dynamic programming. On six unsupervised domain adaptation tasks involving named entity recognition, our method strongly outperforms the random masking strategy and achieves up to +1.64 F1 score improvements.
• Abstract（参考訳）: 最近の研究は、対象課題の領域における広範囲のコンテキスト化埋め込みモデルの適応の重要性を示している。 現在の自己監督型適応法は、トレーニング信号がマスクアウトトークンのわずかな割合から得られるため、単純である。 本稿では,注意深いマスキング戦略が,必要な自己スーパービジョンを割り当てることで,ドメインに関するマスキング言語モデル(mlms)の知識ギャップをより効果的に橋渡しできることを示す。 さらに,MLMの再構築が困難であるトークンを逆さまにマスキングすることで,効果的なトレーニング戦略を提案する。 逆の目標は、トークンの \emph{subsets} よりも組合せ最適化の問題に挑戦し、変分下界および動的プログラミングにリラクゼーションすることで効率的に取り組む。 名前付きエンティティ認識を含む6つの教師なしドメイン適応タスクでは、ランダムマスキング戦略を強く上回り、最大+1.64 F1スコアの改善を実現している。

関連論文リスト

• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  textbfSemantic textbfEquitable textbfClustering (SEC) という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• DAWN: Domain-Adaptive Weakly Supervised Nuclei Segmentation via Cross-Task Interactions [17.68742587885609]
  現在の弱い制御された核分割アプローチは、2段階の擬似ラベル生成とネットワークトレーニングプロセスに従う。 本稿では,クロスタスクインタラクション戦略を用いたドメイン適応型弱教師付き核セグメンテーションフレームワークを提案する。 提案手法の有効性を検証するため,6つのデータセットに対して広範囲な比較・アブレーション実験を行った。
  論文  参考訳（メタデータ） (2024-04-23T12:01:21Z)
• Emerging Property of Masked Token for Effective Pre-training [15.846621577804791]
  Masked Image Modeling (MIM)はコンピュータビジョンにおける最近のブレークスルーの推進に役立っている。 MIMの全体的な効率は、トレーニング前のフェーズの長い持続時間によって妨げられることがある。 本稿では,マスクトークンの重み付けとキー特性の強化によるモデル効率の向上を目的として,マスクトークン最適化(MTO)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T08:46:53Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Boosting Adversarial Transferability with Learnable Patch-wise Masks [16.46210182214551]
  敵の例は、異なるモデル間での転送可能性のため、セキュリティクリティカルなアプリケーションで広く注目を集めている。 本稿では、モデル固有の識別領域が、ソースモデルに過度に適合し、ターゲットモデルへの転送可能性を低減する重要な要因であると論じる。 これらの領域を正確にローカライズするために,マスクの自動最適化のための学習可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-28T05:32:22Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)
• Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
  本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。 本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。 我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
  論文  参考訳（メタデータ） (2020-10-06T13:27:01Z)
• Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension [96.62963688510035]
  理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過度に適合し、敵対的な評価に失敗する。 本稿では,複数の効果的な敵と自動データ拡張ポリシー探索手法を提案し,対角的評価に対して,読解理解モデルをより堅牢にすることを目的とする。
  論文  参考訳（メタデータ） (2020-04-13T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。