論文の概要: S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning

• arxiv url: http://arxiv.org/abs/2207.12819v2
• Date: Sat, 18 Mar 2023 09:45:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 03:40:31.377489
• Title: S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning
• Title（参考訳）: 事前学習型トランスフォーマーによるSプロンプト学習--ドメインインクリメンタルラーニングのためのOccam's Razor
• Authors: Yabin Wang, Zhiwu Huang, Xiaopeng Hong
• Abstract要約: 最先端のディープニューラルネットワークは、継続的な学習における破滅的な忘れの問題にまだ対処できていない。 そこで本研究では,S-Prompting(S-Prompting)と呼ばれる単純なパラダイムと,忘れる度合いを高く抑えるための2つの具体的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 47.35363657976161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art deep neural networks are still struggling to address the catastrophic forgetting problem in continual learning. In this paper, we propose one simple paradigm (named as S-Prompting) and two concrete approaches to highly reduce the forgetting degree in one of the most typical continual learning scenarios, i.e., domain increment learning (DIL). The key idea of the paradigm is to learn prompts independently across domains with pre-trained transformers, avoiding the use of exemplars that commonly appear in conventional methods. This results in a win-win game where the prompting can achieve the best for each domain. The independent prompting across domains only requests one single cross-entropy loss for training and one simple K-NN operation as a domain identifier for inference. The learning paradigm derives an image prompt learning approach and a novel language-image prompt learning approach. Owning an excellent scalability (0.03% parameter increase per domain), the best of our approaches achieves a remarkable relative improvement (an average of about 30%) over the best of the state-of-the-art exemplar-free methods for three standard DIL tasks, and even surpasses the best of them relatively by about 6% in average when they use exemplars. Source code is available at \url{https://github.com/iamwangyabin/S-Prompts}.
• Abstract（参考訳）: 最先端のディープニューラルネットワークは、継続的な学習における破滅的な忘れの問題にまだ対処できていない。 本稿では,1つの単純なパラダイム(s-prompting)と,最も典型的な連続学習シナリオであるドメインインクリメント学習(dil)において,忘れられる程度を高度に減らすための2つの具体的なアプローチを提案する。 パラダイムの重要な考え方は、事前学習されたトランスフォーマーを持つドメインをまたいでプロンプトを独立に学習することであり、従来の方法によく見られるexemplarsの使用を避けることである。 これにより、各ドメインに最適なプロンプトを達成できる勝敗ゲームが得られる。 ドメイン間の独立的なプロンプトは、トレーニングのために1つのクロスエントロピー損失と、推論のためのドメイン識別子として1つの単純なK-NN操作のみを要求する。 学習パラダイムは、画像プロンプト学習アプローチと、新しい言語-画像プロンプト学習アプローチを導出する。 優れたスケーラビリティ(ドメイン当たり0.03%のパラメータ増加)を保有することで、我々のアプローチのベストは、3つの標準DILタスクに対する最先端の先例のないメソッドのベストに対して、顕著な相対的な改善(平均約30%)を達成でき、また、例題を使う場合、そのベストを平均約6%上回っている。 ソースコードは \url{https://github.com/iamwangyabin/S-Prompts} で入手できる。

関連論文リスト

• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
  本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。 我々の手法は既存の手法より一貫して大幅に優れています。
  論文  参考訳（メタデータ） (2022-12-08T11:23:24Z)
• Adversarial Feature Augmentation for Cross-domain Few-shot Classification [2.68796389443975]
  本稿では, ドメインギャップを補うために, 対角的特徴拡張法(AFA)を提案する。 提案手法はプラグイン・アンド・プレイモジュールであり,既存の数発学習手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2022-08-23T15:10:22Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。