論文の概要: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning

• arxiv url: http://arxiv.org/abs/2311.11551v1
• Date: Mon, 20 Nov 2023 06:06:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 19:55:44.491145
• Title: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning
• Title（参考訳）: コンテキスト適応: コンテキスト内学習によるドメイン適応の検索
• Authors: Quanyu Long, Wenya Wang and Sinno Jialin Pan
• Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
• 参考スコア（独自算出の注目度）: 48.22913073217633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have showcased their capability with few-shot inference known as in-context learning. However, in-domain demonstrations are not always readily available in real scenarios, leading to cross-domain in-context learning. Besides, LLMs are still facing challenges in long-tail knowledge in unseen and unfamiliar domains. The above limitations demonstrate the necessity of Unsupervised Domain Adaptation (UDA). In this paper, we study the UDA problem under an in-context learning setting to adapt language models from the source domain to the target domain without any target labels. The core idea is to retrieve a subset of cross-domain elements that are the most similar to the query, and elicit language model to adapt in an in-context manner by learning both target domain distribution and the discriminative task signal simultaneously with the augmented cross-domain in-context examples. We devise different prompting and training strategies, accounting for different LM architectures to learn the target distribution via language modeling. With extensive experiments on Sentiment Analysis (SA) and Named Entity Recognition (NER) tasks, we thoroughly study the effectiveness of ICL for domain transfer and demonstrate significant improvements over baseline models.
• Abstract（参考訳）: 大規模言語モデル(llms)では、コンテキスト内学習として知られる、ごくわずかな推論でその能力を示す。 しかし、ドメイン内デモは実際のシナリオで容易に利用できないため、ドメイン間のコンテキスト内学習につながる。 さらに、llmは、未知のドメインや未知のドメインにおけるロングテール知識の課題に直面している。 上記の制限は、Unsupervised Domain Adaptation (UDA)の必要性を示している。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 中心となるアイデアは、クエリに最も近いクロスドメイン要素のサブセットを検索し、拡張されたクロスドメインインコンテキスト例と並行して、ターゲットドメイン分布と判別タスク信号の両方を学習することで、インコンテキストに適応するように言語モデルを導出することである。 我々は、異なるプロンプトとトレーニング戦略を考案し、異なるlmアーキテクチャを考慮し、言語モデリングを通してターゲットディストリビューションを学ぶ。 感性分析(SA)と名前付きエンティティ認識(NER)タスクに関する広範な実験により、ドメイン転送におけるICLの有効性を徹底的に研究し、ベースラインモデルよりも大幅に改善されたことを示す。

関連論文リスト

• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing [21.37585797507323]
  ドメイン間政策伝達手法は主に、ポリシー学習を容易にするために、ドメインの対応や修正を学習することを目的としている。 本稿では,クロスドメイントラジェクトリ適応のために特別に設計された拡散モデルを用いたクロスドメイントラジェクトリ・EDitingフレームワークを提案する。 提案するモデルアーキテクチャは,対象データ内の動的パターンだけでなく,状態,行動,報酬間の複雑な依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-13T10:07:28Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Syntax-Guided Domain Adaptation for Aspect-based Sentiment Analysis [23.883810236153757]
  ドメイン適応は、ドメイン間で共通の知識を伝達することによって、新しいドメインにおけるデータ不足問題を緩和するための一般的なソリューションである。 より効果的なクロスドメインABSAのための、SDAMと呼ばれる新しい構文誘導型ドメイン適応モデルを提案する。 我々のモデルは、クロスドメインEnd2EndABSAタスクのMicro-F1メトリックに関して、最先端のベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-11-10T10:09:33Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。