論文の概要: Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment

• arxiv url: http://arxiv.org/abs/2112.03024v1
• Date: Wed, 1 Dec 2021 15:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-12 14:53:41.617331
• Title: Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment
• Title（参考訳）: 適応型ハイブリッドマスキングと最適輸送アライメントを用いたドメイン指向言語事前学習
• Authors: Denghui Zhang, Zixuan Yuan, Yanchi Liu, Hao Liu, Fuzhen Zhuang, Hui Xiong, Haifeng Chen
• Abstract要約: 我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。 フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。 我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
• 参考スコア（独自算出の注目度）: 43.874781718934486
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Motivated by the success of pre-trained language models such as BERT in a broad range of natural language processing (NLP) tasks, recent research efforts have been made for adapting these models for different application domains. Along this line, existing domain-oriented models have primarily followed the vanilla BERT architecture and have a straightforward use of the domain corpus. However, domain-oriented tasks usually require accurate understanding of domain phrases, and such fine-grained phrase-level knowledge is hard to be captured by existing pre-training scheme. Also, the word co-occurrences guided semantic learning of pre-training models can be largely augmented by entity-level association knowledge. But meanwhile, by doing so there is a risk of introducing noise due to the lack of groundtruth word-level alignment. To address the above issues, we provide a generalized domain-oriented approach, which leverages auxiliary domain knowledge to improve the existing pre-training framework from two aspects. First, to preserve phrase knowledge effectively, we build a domain phrase pool as auxiliary training tool, meanwhile we introduce Adaptive Hybrid Masked Model to incorporate such knowledge. It integrates two learning modes, word learning and phrase learning, and allows them to switch between each other. Second, we introduce Cross Entity Alignment to leverage entity association as weak supervision to augment the semantic learning of pre-trained models. To alleviate the potential noise in this process, we introduce an interpretable Optimal Transport based approach to guide alignment learning. Experiments on four domain-oriented tasks demonstrate the superiority of our framework.
• Abstract（参考訳）: 様々な自然言語処理(NLP)タスクにおけるBERTのような事前学習言語モデルの成功により、近年、これらのモデルを異なるアプリケーション領域に適用するための研究が進められている。 この線に沿って、既存のドメイン指向モデルは主にvanilla bertアーキテクチャに従っており、ドメインコーパスを直接使用しています。 しかし、ドメイン指向タスクは通常、ドメイン句の正確な理解が必要であり、そのようなきめ細かいフレーズレベルの知識は、既存の事前学習スキームでは把握しづらい。 また、事前学習モデルにおける協調学習という単語は、エンティティレベルの関連知識によって大きく拡張することができる。 しかし、それを行うことで、単語レベルのアライメントが不十分なため、ノイズを発生させるリスクがある。 上記の問題に対処するために、補助的なドメイン知識を活用し、既存の事前学習フレームワークを2つの側面から改善する、一般化されたドメイン指向アプローチを提供する。 まず、フレーズ知識を効果的に保存するために、補助訓練ツールとしてドメインフレーズプールを構築し、その一方でAdaptive Hybrid Masked Modelを導入する。 単語学習とフレーズ学習という2つの学習モードを統合し、相互に切り替えることができる。 第2に,エンティティアライメントを弱い監督として活用し,事前学習モデルのセマンティクス学習を促進するために,クロスエンティティアライメントを導入する。 この過程における潜在的なノイズを軽減するために,アライメント学習を導くために,解釈可能な最適トランスポートベースアプローチを提案する。 4つのドメイン指向タスクの実験は、我々のフレームワークの優位性を示しています。

関連論文リスト

• Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
  大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
  論文  参考訳（メタデータ） (2023-11-20T06:06:20Z)
• Adapting a Language Model While Preserving its General Knowledge [22.083108548675494]
  ドメイン適応型事前訓練(または略してDAトレーニング)は、特定のドメインのラベルなしコーパスを使用して訓練済み汎用言語モデル(LM)を訓練することを目的としている。 既存のDAトレーニングメソッドは、LMのどの知識を保存すべきか、ドメインコーパスによって何が変更されるべきなのかを明確に定義していないため、何らかの意味で盲目である。 本稿では,既存の手法が最適以下であることを示し,LMにおける知識のより深い適応を行うための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-21T17:57:53Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Domain Adapting Speech Emotion Recognition modals to real-world scenario with Deep Reinforcement Learning [5.40755576668989]
  ドメイン適応により、トレーニングのフェーズ後に、モデルによって学習された知識をドメイン間で転送することができる。 より新しいドメインに事前学習モデルを適用するための深層強化学習に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-07T02:53:39Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Unsupervised Domain Adaptation for Semantic Segmentation via Low-level Edge Information Transfer [27.64947077788111]
  セマンティックセグメンテーションのための教師なしドメイン適応は、合成データに基づいて訓練されたモデルを実際の画像に適応させることを目的としている。 従来の特徴レベルの対数学習手法は、高レベルの意味的特徴に適応するモデルのみを考慮していた。 本稿では,ドメイン間ギャップが小さい低レベルエッジ情報を明示的に利用して意味情報の伝達をガイドする試みについて紹介する。
  論文  参考訳（メタデータ） (2021-09-18T11:51:31Z)
• Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units [14.183224769428843]
  自然言語処理(NLP)におけるニューラルトランスファーラーニング(TL)の展開 本稿では,その効率性にも拘わらず,主な限界に悩まされている解釈手法について述べる。 本稿では,正規化,重み付け,ランダムに初期化を施した事前学習モデルの強化について提案する。
  論文  参考訳（メタデータ） (2021-06-09T09:29:11Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。