論文の概要: EMPL: A novel Efficient Meta Prompt Learning Framework for Few-shot Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.04066v1
• Date: Thu, 4 Jul 2024 17:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-08 17:14:12.614871
• Title: EMPL: A novel Efficient Meta Prompt Learning Framework for Few-shot Unsupervised Domain Adaptation
• Title（参考訳）: EMPL:Few-shot Unsupervised Domain Adaptationのための新しいメタプロンプト学習フレームワーク
• Authors: Wanqi Yang, Haoran Wang, Lei Wang, Ge Song, Yang Gao,
• Abstract要約: 本稿では,FS-UDAのためのメタプロンプト学習フレームワークを提案する。 このフレームワークでは、事前訓練されたCLIPモデルを機能学習ベースモデルとして使用しています。 5-way 1-shotでは少なくとも15.4%,5-way 5-shotでは8.7%の大幅な改善が得られた。
• 参考スコア（独自算出の注目度）: 22.586094394391747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot unsupervised domain adaptation (FS-UDA) utilizes few-shot labeled source domain data to realize effective classification in unlabeled target domain. However, current FS-UDA methods are still suffer from two issues: 1) the data from different domains can not be effectively aligned by few-shot labeled data due to the large domain gaps, 2) it is unstable and time-consuming to generalize to new FS-UDA tasks.To address this issue, we put forward a novel Efficient Meta Prompt Learning Framework for FS-UDA. Within this framework, we use pre-trained CLIP model as the feature learning base model. First, we design domain-shared prompt learning vectors composed of virtual tokens, which mainly learns the meta knowledge from a large number of meta tasks to mitigate domain gaps. Secondly, we also design a task-shared prompt learning network to adaptively learn specific prompt vectors for each task, which aims to realize fast adaptation and task generalization. Thirdly, we learn a task-specific cross-domain alignment projection and a task-specific classifier with closed-form solutions for each meta task, which can efficiently adapt the model to new tasks in one step. The whole learning process is formulated as a bilevel optimization problem, and a good initialization of model parameters is learned through meta-learning. Extensive experimental study demonstrates the promising performance of our framework on benchmark datasets. Our method has the large improvement of at least 15.4% on 5-way 1-shot and 8.7% on 5-way 5-shot, compared with the state-of-the-art methods. Also, the performance of our method on all the test tasks is more stable than the other methods.
• Abstract（参考訳）: Few-shot unsupervised domain adaptation (FS-UDA) は、ラベルなし対象領域の効果的な分類を実現するために、少数ショットラベル付きソースドメインデータを利用する。 しかし、現在のFS-UDAメソッドは以下の2つの問題に悩まされている。 1) 異なるドメインからのデータは、大きなドメインギャップのため、少数ショットラベル付きデータによって効果的に整列できない。 2)新しいFS-UDAタスクへの一般化には,不安定で時間がかかり,この問題に対処するために,FS-UDAのための効率的なメタプロンプト学習フレームワークを提案する。 このフレームワークでは、事前訓練されたCLIPモデルを機能学習ベースモデルとして使用しています。 まず、多数のメタタスクからメタ知識を学習し、ドメインギャップを緩和する仮想トークンからなるドメイン共有の素早い学習ベクトルを設計する。 また,タスクごとに特定のプロンプトベクトルを適応的に学習するタスク共有型プロンプト学習ネットワークを設計し,高速適応とタスク一般化の実現を目指す。 第3に、タスク固有のクロスドメインアライメントプロジェクションと、各メタタスクに対するクローズドフォームソリューションを備えたタスク固有分類器を学習し、1ステップでモデルを新しいタスクに効率的に適応させることができる。 学習過程全体は二段階最適化問題として定式化され、メタラーニングによりモデルパラメータの優れた初期化が学習される。 大規模な実験的研究は、ベンチマークデータセット上での我々のフレームワークの有望な性能を実証する。 5-way 1-shotでは少なくとも15.4%,5-way 5-shotでは8.7%の大幅な改善が得られた。 また、全てのテストタスクにおけるメソッドの性能は他のメソッドよりも安定している。

関連論文リスト

• IAP: Improving Continual Learning of Vision-Language Models via Instance-Aware Prompting [45.392113146092306]
  マルチドメイン・タスク・インクリメンタル・ラーニングにおいて,多様なタスクに対するプロンプト・デザインを最適化する課題に取り組む。 我々のIA-GP戦略は,忘れを軽減しつつ,新しいタスクへの適応を促進する。 事例対応型クラス分散型プロンプト(IA-CDDP)は,各事例に対して正確なタスクラベル関連信頼スコアを決定することにより,タスク適応プロセスを改善する。
  論文  参考訳（メタデータ） (2025-03-26T14:59:23Z)
• Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
  Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。 本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。 また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T03:06:22Z)
• UIFormer: A Unified Transformer-based Framework for Incremental Few-Shot Object Detection and Instance Segmentation [38.331860053615955]
  本稿では,Transformerアーキテクチャを用いたインクリメンタルな小ショットオブジェクト検出(iFSOD)とインスタンスセグメンテーション(iFSIS)のための新しいフレームワークを提案する。 私たちのゴールは、新しいオブジェクトクラスのいくつかの例しか利用できない状況に対して最適なソリューションを作ることです。
  論文  参考訳（メタデータ） (2024-11-13T12:29:44Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• UDApter -- Efficient Domain Adaptation Using Adapters [29.70751969196527]
  教師なし領域適応をより効率的にするための2つの手法を提案する。 最初のメソッドは、UDAを2段階のプロセスに分解する。 私たちは、完全なモデルパラメータのごく一部を微調整することで、自然言語推論タスクの0.85% F1以内です。
  論文  参考訳（メタデータ） (2023-02-07T02:04:17Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation [17.165083095799712]
  本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。 そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-20T03:55:09Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• TOOD: Task-aligned One-stage Object Detection [41.43371563426291]
  1段階の物体検出は、オブジェクト分類と局所化の2つのサブタスクを最適化することで一般的に実装される。 本稿では,2つのタスクを学習ベースで明示的に整列するタスク整列1段階オブジェクト検出(TOOD)を提案する。 実験はMS-COCOで行われ、TOODはシングルモデル単スケールテストで51.1 APを達成した。
  論文  参考訳（メタデータ） (2021-08-17T17:00:01Z)
• Cross-Domain Few-Shot Classification via Adversarial Task Augmentation [16.112554109446204]
  少数のショット分類は、各クラスのラベル付きサンプルがほとんどなく、見えないクラスを認識することを目的とする。 数ショット分類のためのメタラーニングモデルの多くは、そのようなタスクを解決するために様々なタスク共有帰納バイアス(メタ知識)を精巧に設計する。 本研究は,タスク強化による帰納バイアスの堅牢性向上を目的としている。
  論文  参考訳（メタデータ） (2021-04-29T14:51:53Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Attentive Feature Reuse for Multi Task Meta learning [17.8055398673228]
  複数のタスクの同時学習のための新しいアルゴリズムを開発した。 本稿では,タスク毎に動的にネットワークを専門化するためのアテンション機構を提案する。 提案手法は,従来は目に見えなかった新しい環境における性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-12T19:33:11Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
  畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。 本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。 提案手法を4つの連続学習データセットで検証する。
  論文  参考訳（メタデータ） (2020-03-31T19:35:07Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。