論文の概要: PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization
- arxiv url: http://arxiv.org/abs/2404.09011v1
- Date: Sat, 13 Apr 2024 13:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 17:34:10.198358
- Title: PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization
- Title（参考訳）: PracticalDG:ハイブリッドドメイン一般化のためのビジョンランゲージモデルの摂動蒸留
- Authors: Zining Chen, Weiqiu Wang, Zhicheng Zhao, Fei Su, Aidong Men, Hongying Meng,
- Abstract要約: 本稿では,Hybrid Domain Generalization (HDG) と,アルゴリズムのロバスト性を評価するために,様々な分割を構成する新しい指標である$H2$-CVを提案する。
提案手法は,複数のデータセット上での最先端アルゴリズムよりも優れており,特にデータ不足に直面する場合のロバスト性の向上に寄与する。
- 参考スコア（独自算出の注目度）: 24.413415998529754
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Domain Generalization (DG) aims to resolve distribution shifts between source and target domains, and current DG methods are default to the setting that data from source and target domains share identical categories. Nevertheless, there exists unseen classes from target domains in practical scenarios. To address this issue, Open Set Domain Generalization (OSDG) has emerged and several methods have been exclusively proposed. However, most existing methods adopt complex architectures with slight improvement compared with DG methods. Recently, vision-language models (VLMs) have been introduced in DG following the fine-tuning paradigm, but consume huge training overhead with large vision models. Therefore, in this paper, we innovate to transfer knowledge from VLMs to lightweight vision models and improve the robustness by introducing Perturbation Distillation (PD) from three perspectives, including Score, Class and Instance (SCI), named SCI-PD. Moreover, previous methods are oriented by the benchmarks with identical and fixed splits, ignoring the divergence between source domains. These methods are revealed to suffer from sharp performance decay with our proposed new benchmark Hybrid Domain Generalization (HDG) and a novel metric $H^{2}$-CV, which construct various splits to comprehensively assess the robustness of algorithms. Extensive experiments demonstrate that our method outperforms state-of-the-art algorithms on multiple datasets, especially improving the robustness when confronting data scarcity.
- Abstract（参考訳）: ドメイン一般化(DG)は、ソースとターゲットドメイン間の分散シフトを解決することを目的としており、現在のDGメソッドは、ソースとターゲットドメインからのデータが同じカテゴリを共有する設定でデフォルトである。
それでも、現実的なシナリオでは、ターゲットドメインからは目に見えないクラスが存在する。
この問題に対処するため、Open Set Domain Generalization (OSDG) が登場し、いくつかの手法が提案されている。
しかし、既存のほとんどの手法では、DG法と比較してわずかに改善された複雑なアーキテクチャを採用している。
近年、視覚言語モデル (VLM) は微調整パラダイムに従ってDGで導入されているが、大きな視覚モデルで膨大なトレーニングオーバーヘッドを消費している。
そこで本稿では,VLMから軽量視覚モデルへ知識を伝達し,SCI-PD(Score, Class, Instance)を含む3つの視点から摂動蒸留(PD)を導入することにより,堅牢性の向上を図る。
さらに、従来の手法は、ソースドメイン間のばらつきを無視して、同一および固定された分割を持つベンチマークによって指向される。
これらの手法は,提案したベンチマークであるHybrid Domain Generalization (HDG) と,アルゴリズムの頑健さを総合的に評価するために,様々な分割を構成する新しい計量である$H^{2}$-CVを用いて,急激な性能劣化に悩まされていることが明らかとなった。
大規模な実験により、本手法は複数のデータセット上で最先端のアルゴリズムよりも優れており、特にデータ不足に直面する場合のロバスト性の向上が示されている。
関連論文リスト
- Uncertainty-guided Contrastive Learning for Single Source Domain Generalisation [15.907643838530655]
本稿では,Contrastive Uncertainty Domain Generalisation Network(CUDGNet)と呼ばれる新しいモデルを紹介する。
鍵となるアイデアは、架空のドメインジェネレータを通じて、入力空間とラベル空間の両方のソース容量を増大させることである。
また,提案手法は,1つのフォワードパスからジェネレータサブネットワークを経由した推論時間における効率的な不確実性推定も提供する。
論文 参考訳（メタデータ） (2024-03-12T10:47:45Z) - Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳（メタデータ） (2023-07-30T11:38:46Z) - Causality-based Dual-Contrastive Learning Framework for Domain
Generalization [16.81075442901155]
ドメイン一般化(Domain Generalization, DG)は、本質的には分布外一般化のサブブランチである。
本稿では,機能およびプロトタイプのコントラストを考慮したDCL(Dual-Contrastive Learning)モジュールを提案する。
また、多様性シフトに関する情報を活用するために、類似性に基づくハードペアマイニング(SHM)戦略も導入する。
論文 参考訳（メタデータ） (2023-01-22T13:07:24Z) - Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。
AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。
その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
論文 参考訳（メタデータ） (2022-08-03T11:51:11Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-24T16:29:43Z) - Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。
組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。
4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文 参考訳（メタデータ） (2022-03-24T11:54:59Z) - A Novel Mix-normalization Method for Generalizable Multi-source Person
Re-identification [49.548815417844786]
人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。
モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。
ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
論文 参考訳（メタデータ） (2022-01-24T18:09:38Z) - Model-Based Domain Generalization [96.84818110323518]
本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。
我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
論文 参考訳（メタデータ） (2021-02-23T00:59:02Z) - Discrepancy Minimization in Domain Generalization with Generative
Nearest Neighbors [13.047289562445242]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。
シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。
本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
論文 参考訳（メタデータ） (2020-07-28T14:54:25Z) - Dual Distribution Alignment Network for Generalizable Person
Re-Identification [174.36157174951603]
ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する
本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。
大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
論文 参考訳（メタデータ） (2020-07-27T00:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。