論文の概要: BayesPrompt: Prompting Large-Scale Pre-Trained Language Models on Few-shot Inference via Debiased Domain Abstraction

• arxiv url: http://arxiv.org/abs/2401.14166v2
• Date: Mon, 29 Jan 2024 08:51:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 11:28:43.464890
• Title: BayesPrompt: Prompting Large-Scale Pre-Trained Language Models on Few-shot Inference via Debiased Domain Abstraction
• Title（参考訳）: bayesprompt: debiased domain abstractionによる限定的推論による大規模事前学習言語モデルの提案
• Authors: Jiangmeng Li, Fei Song, Yifan Jin, Wenwen Qiang, Changwen Zheng, Fuchun Sun, Hui Xiong
• Abstract要約: 本稿では,プロンプトチューニング手法が特定のショットパターンに一般化できないことを示す。 ドメイン識別情報を含むプロンプトを学習するためにベイズプロンプトを提案する。 本手法は,ベンチマーク上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 42.243952316121636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a novel and effective fine-tuning paradigm based on large-scale pre-trained language models (PLMs), prompt-tuning aims to reduce the gap between downstream tasks and pre-training objectives. While prompt-tuning has yielded continuous advancements in various tasks, such an approach still remains a persistent defect: prompt-tuning methods fail to generalize to specific few-shot patterns. From the perspective of distribution analyses, we disclose that the intrinsic issues behind the phenomenon are the over-multitudinous conceptual knowledge contained in PLMs and the abridged knowledge for target downstream domains, which jointly result in that PLMs mis-locate the knowledge distributions corresponding to the target domains in the universal knowledge embedding space. To this end, we intuitively explore to approximate the unabridged target domains of downstream tasks in a debiased manner, and then abstract such domains to generate discriminative prompts, thereby providing the de-ambiguous guidance for PLMs. Guided by such an intuition, we propose a simple yet effective approach, namely BayesPrompt, to learn prompts that contain the domain discriminative information against the interference from domain-irrelevant knowledge. BayesPrompt primitively leverages known distributions to approximate the debiased factual distributions of target domains and further uniformly samples certain representative features from the approximated distributions to generate the ultimate prompts for PLMs. We provide theoretical insights with the connection to domain adaptation. Empirically, our method achieves state-of-the-art performance on benchmarks.
• Abstract（参考訳）: 大規模事前学習言語モデル(PLM)に基づく新規かつ効果的な微調整パラダイムとして、プロンプトチューニングは下流タスクと事前学習対象とのギャップを減らすことを目的としている。 プロンプトチューニングはさまざまなタスクにおいて継続的な進歩をもたらしたが、このようなアプローチは依然として永続的な欠陥である。 分布分析の観点から、本現象の背後にある本質的な問題は、PLMに含まれる過度な概念的知識と、ターゲット下流領域に対する橋渡しされた知識であり、その結果、PLMは、普遍的な知識埋め込み空間において、対象ドメインに対応する知識分布を誤って配置する。 この目的のために,下流タスクの目標領域を偏りなく近似し,それらの領域を抽象化して識別的プロンプトを生成し,plmに対する非曖昧なガイダンスを提供する。 このような直観に導かれ、ドメイン無関係な知識からの干渉に対してドメイン識別情報を含むプロンプトを学ぶための、単純かつ効果的なアプローチ、すなわちベイズプロンプトを提案する。 bayesprompt は既知の分布を原始的に活用し、対象領域の偏りのある事実分布を近似し、さらに近似分布から特定の代表的特徴を均一にサンプリングし、plm の究極のプロンプトを生成する。 ドメイン適応に関する理論的洞察を提供する。 提案手法は,ベンチマーク上での最先端性能を実証的に達成する。

関連論文リスト

• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• Domain Adaptive Few-Shot Open-Set Learning [36.39622440120531]
  本稿では,DA-FSOS(Domain Adaptive Few-Shot Open Set Recognition)を提案する。 我々のトレーニングアプローチは、DAFOS-NETがターゲットドメインの新しいシナリオにうまく適応できるようにします。 本稿では,Office-Home,mini-ImageNet/CUB,DomainNetデータセットに基づくDA-FSOSの3つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-09-22T12:04:47Z)
• MoP-CLIP: A Mixture of Prompt-Tuned CLIP Models for Domain Incremental Learning [12.737883740101438]
  本稿では,プロンプト調整型CLIPモデル(MoP-CLIP)を用いた新しいDIL手法を提案する。 トレーニング段階では、各ドメインの各クラスの特徴分布をモデル化し、個々のテキストと視覚的プロンプトを学習して、特定のドメインに適応させます。 学習した分布は、与えられたテストサンプルが既知のドメインに属しているかどうかを識別し、分類タスクの正しいプロンプトを選択する。
  論文  参考訳（メタデータ） (2023-07-11T18:17:50Z)
• Prompting Diffusion Representations for Cross-Domain Semantic Segmentation [101.04326113360342]
  拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。 本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
  論文  参考訳（メタデータ） (2023-07-05T09:28:25Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。