Fugu-MT 論文翻訳(概要): Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis

論文の概要: Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis

arxiv url: http://arxiv.org/abs/2405.05496v1
Date: Thu, 9 May 2024 02:00:07 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 14:22:38.922268
Title: Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis
Title（参考訳）: Aspect-based Sentiment Analysisのための継続学習による大規模言語モデルの強化
Authors: Xuanwen Ding, Jie Zhou, Liang Dou, Qin Chen, Yuanbin Wu, Chengcai Chen, Liang He,
Abstract要約: アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
参考スコア（独自算出の注目度）: 33.86086075084374
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Aspect-based sentiment analysis (ABSA) is an important subtask of sentiment analysis, which aims to extract the aspects and predict their sentiments. Most existing studies focus on improving the performance of the target domain by fine-tuning domain-specific models (trained on source domains) based on the target domain dataset. Few works propose continual learning tasks for ABSA, which aim to learn the target domain's ability while maintaining the history domains' abilities. In this paper, we propose a Large Language Model-based Continual Learning (\texttt{LLM-CL}) model for ABSA. First, we design a domain knowledge decoupling module to learn a domain-invariant adapter and separate domain-variant adapters dependently with an orthogonal constraint. Then, we introduce a domain knowledge warmup strategy to align the representation between domain-invariant and domain-variant knowledge. In the test phase, we index the corresponding domain-variant knowledge via domain positioning to not require each sample's domain ID. Extensive experiments over 19 datasets indicate that our \texttt{LLM-CL} model obtains new state-of-the-art performance.
Abstract（参考訳）: アスペクトベースの感情分析(ABSA)は、感情分析の重要なサブタスクであり、その側面を抽出し、感情を予測することを目的としている。既存の研究の多くは、ターゲットドメインデータセットに基づいて(ソースドメインに基づいてトレーニングされた)ドメイン固有モデルを微調整することで、ターゲットドメインの性能を改善することに重点を置いている。歴史ドメインの能力を維持しつつ、対象ドメインの能力を学習することを目的としたABSAの継続的な学習タスクを提案する作業はほとんどない。本稿では,ABSAのための大規模言語モデルに基づく連続学習(\texttt{LLM-CL})モデルを提案する。まず、ドメイン不変アダプタとドメイン不変アダプタを直交制約に依存的に分離するために、ドメイン知識分離モジュールを設計する。そして、ドメイン不変知識とドメイン不変知識の表現を整合させるためのドメイン知識ウォームアップ戦略を導入する。テストフェーズでは、各サンプルのドメインIDを必要としないように、ドメイン位置決めによって対応するドメイン変種知識をインデックス化する。 19のデータセットに対する大規模な実験は、我々の \texttt{LLM-CL} モデルが新しい最先端のパフォーマンスを得ることを示している。

関連論文リスト

Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
論文参考訳（メタデータ） (2024-05-05T02:44:04Z)
Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis [59.73582306457387]
クロスドメイン感情分析における領域一般化の問題に焦点をあてる。本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
論文参考訳（メタデータ） (2024-02-22T13:26:56Z)
Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
論文参考訳（メタデータ） (2023-11-20T06:06:20Z)
Meta-causal Learning for Single Domain Generalization [102.53303707563612]
単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
論文参考訳（メタデータ） (2023-04-07T15:46:38Z)
Syntax-Guided Domain Adaptation for Aspect-based Sentiment Analysis [23.883810236153757]
ドメイン適応は、ドメイン間で共通の知識を伝達することによって、新しいドメインにおけるデータ不足問題を緩和するための一般的なソリューションである。より効果的なクロスドメインABSAのための、SDAMと呼ばれる新しい構文誘導型ドメイン適応モデルを提案する。我々のモデルは、クロスドメインEnd2EndABSAタスクのMicro-F1メトリックに関して、最先端のベースラインを一貫して上回ります。
論文参考訳（メタデータ） (2022-11-10T10:09:33Z)
Dynamic Domain Generalization [10.252262302724608]
我々は、動的ドメイン一般化(DDG)と呼ばれる新しいDG変種を開発し、モデルが異なるドメインからのデータに適応するために、ネットワークパラメータをツイストすることを学ぶ。具体的には、メタ調整器を利用して、異なるドメインの異なるデータに対して静的モデルに基づいてネットワークパラメータをツイストする。このように、静的モデルはドメイン共有機能を学ぶために最適化され、メタ調整器はドメイン固有の機能を学ぶために設計されている。
論文参考訳（メタデータ） (2022-05-27T11:29:03Z)
Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
論文参考訳（メタデータ） (2022-04-06T09:13:25Z)
Exploiting Domain-Specific Features to Enhance Domain Generalization [10.774902700296249]
ドメイン一般化(Domain Generalization, DG)は、観測されていないターゲットドメインで正常に動作するために、複数の観測されたソースドメインからモデルをトレーニングすることを目的としている。以前のDGアプローチでは、ターゲットドメインを一般化するために、ソース間でのドメイン不変情報を抽出することに重点を置いていた。本稿ではメタドメイン固有ドメイン不変量(mD)を提案する。
論文参考訳（メタデータ） (2021-10-18T15:42:39Z)
Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文参考訳（メタデータ） (2020-12-15T13:21:54Z)
Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。