論文の概要: Domain-Aware Continual Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2112.12989v1
- Date: Fri, 24 Dec 2021 08:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-29 14:55:08.557120
- Title: Domain-Aware Continual Zero-Shot Learning
- Title(参考訳): ドメイン対応連続ゼロショット学習
- Authors: Kai Yi, Mohamed Elhoseiny
- Abstract要約: ドメイン認識型連続ゼロショット学習(DACZSL)は、目に見えないカテゴリのイメージを逐次認識するタスクである。
我々はまた、最先端のベースラインモデルより優れた新しいドメイン不変CZSLネットワーク(DIN)を提案する。
- 参考スコア(独自算出の注目度): 27.059489219811248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Domain Aware Continual Zero-Shot Learning (DACZSL), the task of
visually recognizing images of unseen categories in unseen domains
sequentially. We created DACZSL on top of the DomainNet dataset by dividing it
into a sequence of tasks, where classes are incrementally provided on seen
domains during training and evaluation is conducted on unseen domains for both
seen and unseen classes. We also proposed a novel Domain-Invariant CZSL Network
(DIN), which outperforms state-of-the-art baseline models that we adapted to
DACZSL setting. We adopt a structure-based approach to alleviate forgetting
knowledge from previous tasks with a small per-task private network in addition
to a global shared network. To encourage the private network to capture the
domain and task-specific representation, we train our model with a novel
adversarial knowledge disentanglement setting to make our global network
task-invariant and domain-invariant over all the tasks. Our method also learns
a class-wise learnable prompt to obtain better class-level text representation,
which is used to represent side information to enable zero-shot prediction of
future unseen classes. Our code and benchmarks will be made publicly available.
- Abstract(参考訳): ドメイン認識型連続ゼロショット学習(DACZSL)は、目に見えないカテゴリのイメージを逐次認識するタスクである。
我々は、DomainNetデータセット上にDACZSLを作成し、一連のタスクに分割し、トレーニング中に目に見えないドメインにクラスを段階的に提供し、目に見えないクラスと目に見えないクラスの両方に対して評価を行う。
また、DACZSL設定に適応した最先端のベースラインモデルよりも優れた新しいDomain-Invariant CZSL Network(DIN)を提案する。
我々は、グローバル共有ネットワークに加えて、小さなタスク毎プライベートネットワークで、以前のタスクから得た知識を省くための構造ベースのアプローチを採用する。
プライベートネットワークがドメインとタスク固有の表現を捉えるように促すため、我々は、我々のグローバルネットワークのタスク不変およびドメイン不変をすべてのタスクにわたって可能にするために、新しい敵の知識の絡み合い設定でモデルを訓練します。
提案手法では,クラスレベルのテキスト表現を改善するために,クラスレベルでの学習可能なプロンプトも学習し,サイド情報を表現して,将来の未確認クラスのゼロショット予測を可能にする。
私たちのコードとベンチマークは公開される予定だ。
関連論文リスト
- In the Era of Prompt Learning with Vision-Language Models [1.060608983034705]
ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。
StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。
また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
論文 参考訳(メタデータ) (2024-11-07T17:31:21Z) - Grounding Stylistic Domain Generalization with Quantitative Domain Shift Measures and Synthetic Scene Images [63.58800688320182]
ドメインの一般化は機械学習において難しい課題である。
現在の方法論は、スタイリスティック領域におけるシフトに関する定量的な理解を欠いている。
これらのリスクに対処する新しいDGパラダイムを導入する。
論文 参考訳(メタデータ) (2024-05-24T22:13:31Z) - Domain-Controlled Prompt Learning [49.45309818782329]
既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。
特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。
本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-30T02:59:49Z) - Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization [5.124256074746721]
深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。
画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。
我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
論文 参考訳(メタデータ) (2023-08-28T08:54:27Z) - Using Language to Extend to Unseen Domains [81.37175826824625]
ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。
トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。
共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
論文 参考訳(メタデータ) (2022-10-18T01:14:02Z) - Domain Invariant Masked Autoencoders for Self-supervised Learning from
Multi-domains [73.54897096088149]
マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。
中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。
PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
論文 参考訳(メタデータ) (2022-05-10T09:49:40Z) - Towards Recognizing Unseen Categories in Unseen Domains [74.29101415077523]
CuMixはZSL(Zero-Shot Learning)、ドメイン適応とドメイン一般化(Domain Adaptation and Domain Generalization、DG)、ZSL+DG(ZSL+DG)に取り組むための総合的なアルゴリズムである。
CuMixのキーとなるアイデアは、トレーニング中に使用可能な、目に見えないドメインやカテゴリからの画像と機能を使用して、テスト時のドメインとセマンティックシフトをシミュレートすることだ。
DomainNetベンチマークを用いた標準SLおよびDGデータセットとZSL+DGの結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2020-07-23T21:09:28Z) - Learning to adapt class-specific features across domains for semantic
segmentation [36.36210909649728]
本論文では,クラス情報毎に考慮し,ドメイン間の特徴を適応させることを学習する新しいアーキテクチャを提案する。
我々は最近導入されたStarGANアーキテクチャを画像翻訳のバックボーンとして採用している。
論文 参考訳(メタデータ) (2020-01-22T23:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。