論文の概要: Domain-Adaptive Text Classification with Structured Knowledge from Unlabeled Data

• arxiv url: http://arxiv.org/abs/2206.09591v1
• Date: Mon, 20 Jun 2022 06:38:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-25 14:34:41.413024
• Title: Domain-Adaptive Text Classification with Structured Knowledge from Unlabeled Data
• Title（参考訳）: ラベルなしデータからの構造化知識を用いたドメイン適応テキスト分類
• Authors: Tian Li, Xiang Chen, Zhen Dong, Weijiang Yu, Yijun Yan, Kurt Keutzer, Shanghang Zhang
• Abstract要約: 構造的知識を用いたドメイン適応(DASK)は,単語レベルの意味的関係を利用してドメイン適応を強化する新しい手法である。 DASKは、ピボット関連の知識グラフ情報をソースドメインのテキストに注入する。 ピボットとの関係に応じて、非ピボットのドメイン不変機能を学ぶ。
• 参考スコア（独自算出の注目度）: 47.61423904080164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adaptive text classification is a challenging problem for the large-scale pretrained language models because they often require expensive additional labeled data to adapt to new domains. Existing works usually fails to leverage the implicit relationships among words across domains. In this paper, we propose a novel method, called Domain Adaptation with Structured Knowledge (DASK), to enhance domain adaptation by exploiting word-level semantic relationships. DASK first builds a knowledge graph to capture the relationship between pivot terms (domain-independent words) and non-pivot terms in the target domain. Then during training, DASK injects pivot-related knowledge graph information into source domain texts. For the downstream task, these knowledge-injected texts are fed into a BERT variant capable of processing knowledge-injected textual data. Thanks to the knowledge injection, our model learns domain-invariant features for non-pivots according to their relationships with pivots. DASK ensures the pivots to have domain-invariant behaviors by dynamically inferring via the polarity scores of candidate pivots during training with pseudo-labels. We validate DASK on a wide range of cross-domain sentiment classification tasks and observe up to 2.9% absolute performance improvement over baselines for 20 different domain pairs. Code will be made available at https://github.com/hikaru-nara/DASK.
• Abstract（参考訳）: ドメイン適応型テキスト分類は、新しいドメインに適応するために高価なラベル付きデータを必要とするため、大規模な事前学習された言語モデルでは難しい問題である。 既存の作品は通常、ドメイン間の単語間の暗黙の関係を活用できない。 本稿では,単語レベルの意味関係を活用し,ドメイン適応性を高めるため,構造化知識を用いたドメイン適応法(dask)を提案する。 DASKはまず、ピボット項(ドメインに依存しない単語)とターゲットドメイン内の非ピボット項の関係をキャプチャする知識グラフを構築する。 トレーニング中、daskはピボット関連の知識グラフ情報をソースドメインのテキストに注入する。 下流タスクでは、これらの知識注入されたテキストは、知識注入されたテキストデータを処理できるBERT変種に入力される。 知識注入により、我々のモデルはピボットとの関係に応じて非ピボットのドメイン不変の特徴を学習する。 DASKは、疑似ラベルを用いたトレーニング中に、候補ピボットの極性スコアを介して動的に推論することで、ピボットがドメイン不変の振る舞いを持つことを保証する。 我々はDASKを多岐にわたるクロスドメイン感情分類タスクで検証し、20の異なるドメインペアのベースラインよりも最大2.9%の絶対的なパフォーマンス改善を観察する。 コードはhttps://github.com/hikaru-nara/DASK.comで公開される。

関連論文リスト

• Cross-domain Named Entity Recognition via Graph Matching [25.237288970802425]
  クロスドメインのNERは、現実のシナリオにおけるデータの不足から、実用的ながら難しい問題である。 我々は,ラベル関係を確率分布としてモデル化し,ソースとターゲットの両方のラベル空間にラベルグラフを構築する。 ラベル関係をグラフとして表現することにより、グラフマッチング問題としてクロスドメインNERを定式化する。
  論文  参考訳（メタデータ） (2024-08-02T02:31:54Z)
• Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization [39.14048972373775]
  テストタイムドメイン適応は、ソースドメインでトレーニングされたモデルを、ラベルのないいくつかのイメージを使用して、未表示のターゲットドメインに適応することを目的としている。 従来の作業は通常、ラベルとドメイン間の知識を明示的に分離することなく、ネットワーク全体をナビゲート的に更新する。 本稿では,BN層のみを操作することにより,そのような学習の干渉を低減し,ドメイン知識の学習を高めることを提案する。
  論文  参考訳（メタデータ） (2023-12-15T19:22:21Z)
• Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification [11.574416766823694]
  クラス不均衡は、異なるドメインのトレーニングモデルとテストモデルに自然に存在する。 教師なしドメイン適応(UDA)は、ソースドメインからのみアクセス可能なアノテーションでモデルパフォーマンスを向上する。 本稿では、強化学習による教師なしドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2022-05-26T04:05:51Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search [89.48123965553098]
  本稿では,特殊領域適応問題を緩和する探索システムを提案する。 このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。 本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
  論文  参考訳（メタデータ） (2020-11-03T09:10:48Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。