論文の概要: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context
Learning
- arxiv url: http://arxiv.org/abs/2311.11551v1
- Date: Mon, 20 Nov 2023 06:06:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:55:44.491145
- Title: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context
Learning
- Title(参考訳): コンテキスト適応: コンテキスト内学習によるドメイン適応の検索
- Authors: Quanyu Long, Wenya Wang and Sinno Jialin Pan
- Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。
本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。
我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
- 参考スコア(独自算出の注目度): 48.22913073217633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have showcased their capability with few-shot
inference known as in-context learning. However, in-domain demonstrations are
not always readily available in real scenarios, leading to cross-domain
in-context learning. Besides, LLMs are still facing challenges in long-tail
knowledge in unseen and unfamiliar domains. The above limitations demonstrate
the necessity of Unsupervised Domain Adaptation (UDA). In this paper, we study
the UDA problem under an in-context learning setting to adapt language models
from the source domain to the target domain without any target labels. The core
idea is to retrieve a subset of cross-domain elements that are the most similar
to the query, and elicit language model to adapt in an in-context manner by
learning both target domain distribution and the discriminative task signal
simultaneously with the augmented cross-domain in-context examples. We devise
different prompting and training strategies, accounting for different LM
architectures to learn the target distribution via language modeling. With
extensive experiments on Sentiment Analysis (SA) and Named Entity Recognition
(NER) tasks, we thoroughly study the effectiveness of ICL for domain transfer
and demonstrate significant improvements over baseline models.
- Abstract(参考訳): 大規模言語モデル(llms)では、コンテキスト内学習として知られる、ごくわずかな推論でその能力を示す。
しかし、ドメイン内デモは実際のシナリオで容易に利用できないため、ドメイン間のコンテキスト内学習につながる。
さらに、llmは、未知のドメインや未知のドメインにおけるロングテール知識の課題に直面している。
上記の制限は、Unsupervised Domain Adaptation (UDA)の必要性を示している。
本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。
中心となるアイデアは、クエリに最も近いクロスドメイン要素のサブセットを検索し、拡張されたクロスドメインインコンテキスト例と並行して、ターゲットドメイン分布と判別タスク信号の両方を学習することで、インコンテキストに適応するように言語モデルを導出することである。
我々は、異なるプロンプトとトレーニング戦略を考案し、異なるlmアーキテクチャを考慮し、言語モデリングを通してターゲットディストリビューションを学ぶ。
感性分析(SA)と名前付きエンティティ認識(NER)タスクに関する広範な実験により、ドメイン転送におけるICLの有効性を徹底的に研究し、ベースラインモデルよりも大幅に改善されたことを示す。
関連論文リスト
- FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation [26.360118193761643]
ラベル付きおよびラベル付きの両方の例で自己回帰的LMを訓練する,フラストレーションに易しいUDA法(FEUDA)を提案する。
我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-01-31T00:15:34Z) - Large Language Models as Visual Cross-Domain Learners [7.352822795984628]
クロスドメイン学習は、トレーニングとテストデータのドメインシフトを減らすために、ドメイン不変の知識を抽出することを目的としている。
伝統的な手法は画像のモダリティのみにのみ焦点をあて、ドメインシフトを軽減するためにテキストのモダリティの使用を無視する。
Visual Cross-dOmain Learningers (LLaVO) としてLarge Languageモデルを提案する。
論文 参考訳(メタデータ) (2024-01-06T16:33:39Z) - Domain Adaptive Few-Shot Open-Set Learning [36.39622440120531]
本稿では,DA-FSOS(Domain Adaptive Few-Shot Open Set Recognition)を提案する。
我々のトレーニングアプローチは、DAFOS-NETがターゲットドメインの新しいシナリオにうまく適応できるようにします。
本稿では,Office-Home,mini-ImageNet/CUB,DomainNetデータセットに基づくDA-FSOSの3つのベンチマークを示す。
論文 参考訳(メタデータ) (2023-09-22T12:04:47Z) - Syntax-Guided Domain Adaptation for Aspect-based Sentiment Analysis [23.883810236153757]
ドメイン適応は、ドメイン間で共通の知識を伝達することによって、新しいドメインにおけるデータ不足問題を緩和するための一般的なソリューションである。
より効果的なクロスドメインABSAのための、SDAMと呼ばれる新しい構文誘導型ドメイン適応モデルを提案する。
我々のモデルは、クロスドメインEnd2EndABSAタスクのMicro-F1メトリックに関して、最先端のベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2022-11-10T10:09:33Z) - Domain Adaptation via Prompt Learning [39.97105851723885]
Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。
我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
論文 参考訳(メタデータ) (2022-02-14T13:25:46Z) - Structured Latent Embeddings for Recognizing Unseen Classes in Unseen
Domains [108.11746235308046]
本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。
挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
論文 参考訳(メタデータ) (2021-07-12T17:57:46Z) - Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。
対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
論文 参考訳(メタデータ) (2021-06-10T06:32:30Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2021-06-10T05:01:20Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z) - Curriculum CycleGAN for Textual Sentiment Domain Adaptation with
Multiple Sources [68.31273535702256]
我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。
C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。
3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
論文 参考訳(メタデータ) (2020-11-17T14:50:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。