論文の概要: Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2110.13398v1
- Date: Tue, 26 Oct 2021 04:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 06:30:58.791140
- Title: Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis
- Title(参考訳): アスペクトベース感情分析のための統一インスタンスと知識アライメント事前学習
- Authors: Juhua Liu, Qihuang Zhong, Liang Ding, Hua Jin, Bo Du, Dacheng Tao
- Abstract要約: 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
まず、大規模事前学習データセットから対象ドメイン関連インスタンスを選択するために、新しい粗大な検索サンプリング手法を考案する。
次に、知識レベルでのドメインギャップをさらに橋渡しするための知識ガイダンスに基づく戦略を導入する。
- 参考スコア(独自算出の注目度): 85.22774271500032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment
polarity towards an aspect. Because of the expensive and limited labelled data,
the pretraining strategy has become the de-facto standard for ABSA. However,
there always exists severe domain shift between the pretraining and downstream
ABSA datasets, hindering the effective knowledge transfer when directly
finetuning and making the downstream task performs sub-optimal. To mitigate
such domain shift, we introduce a unified alignment pretraining framework into
the vanilla pretrain-finetune pipeline with both instance- and knowledge-level
alignments. Specifically, we first devise a novel coarse-to-fine retrieval
sampling approach to select target domain-related instances from the
large-scale pretraining dataset, thus aligning the instances between
pretraining and target domains (\textit{First Stage}). Then, we introduce a
knowledge guidance-based strategy to further bridge the domain gap at the
knowledge level. In practice, we formulate the model pretrained on the sampled
instances into a knowledge guidance model and a learner model, respectively. On
the target dataset, we design an on-the-fly teacher-student joint fine-tuning
approach to progressively transfer the knowledge from the knowledge guidance
model to the learner model (\textit{Second Stage}). Thereby, the learner model
can maintain more domain-invariant knowledge when learning new knowledge from
the target dataset. In the \textit{Third Stage,} the learner model is finetuned
to better adapt its learned knowledge to the target dataset. Extensive
experiments and analyses on several ABSA benchmarks demonstrate the
effectiveness and universality of our proposed pretraining framework. Notably,
our pretraining framework pushes several strong baseline models up to the new
state-of-the-art records. We release our code and models.
- Abstract(参考訳): Aspect-based Sentiment Analysis (ABSA)は、ある側面に対する感情の極性を決定することを目的としている。
ラベル付きデータが高価で制限されているため、プレトレーニング戦略はABSAのデファクトスタンダードになっている。
しかしながら、プレトレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在し、下流タスクを直接微調整し、下流タスクを準最適にする際の効果的な知識伝達を妨げる。
このようなドメインシフトを軽減するために,インスタンスレベルのアライメントと知識レベルのアライメントを併用した,バニラプレトレイン・ファインチューンパイプラインにアライメント事前トレーニングフレームワークを導入する。
具体的には、まず、大規模事前学習データセットから対象ドメイン関連インスタンスを選択するために、新しい粗大な検索サンプリング手法を考案し、事前学習と対象ドメインを整列させる(\textit{First Stage})。
次に、知識レベルでのドメインギャップをさらに橋渡しするための知識ガイダンスに基づく戦略を導入する。
実際に,サンプルインスタンス上で事前学習したモデルを,知識指導モデルと学習者モデルにそれぞれ定式化する。
対象データセットに基づいて,知識指導モデルから学習者モデル(\textit{Second Stage})に知識を段階的に伝達する,オンザフライの教師-学生共同微調整アプローチを設計する。
これにより、学習者モデルは、対象データセットから新たな知識を学習する際に、より多くのドメイン不変知識を維持できる。
textit{Third Stage} では、学習者は学習した知識をターゲットデータセットに適応させるために微調整される。
複数のabsaベンチマークにおける広範囲な実験と解析は、提案する事前学習フレームワークの有効性と普遍性を示している。
我々の事前トレーニングフレームワークは、いくつかの強力なベースラインモデルを新しい最先端レコードに押し上げる。
コードとモデルをリリースします。
関連論文リスト
- In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene
Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。
そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文 参考訳(メタデータ) (2023-07-04T10:57:52Z) - Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。
オープンセットドメイン適応(OSDA)は、この制限に対処する。
そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-10T14:11:09Z) - Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。
特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。
このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文 参考訳(メタデータ) (2022-07-18T18:41:36Z) - A self-training framework for glaucoma grading in OCT B-scans [6.382852973055393]
そこで本研究では,OCT B-Scansを用いた緑内障検診のための自己学習型フレームワークを提案する。
2段階の学習手法は、最初のステップで生成された擬似ラベルを利用して、ターゲットドメイン上のトレーニングデータセットを拡大する。
提案する新しい緑内障特異的バックボーンは,遅延空間の埋め込み特性を改良するために,スキップ接続による残像と注意点のモジュールを導入している。
論文 参考訳(メタデータ) (2021-11-23T10:33:55Z) - Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。
そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。
提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
論文 参考訳(メタデータ) (2021-06-07T08:38:41Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳(メタデータ) (2020-12-14T07:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。