論文の概要: Choosing Wisely and Learning Deeply: Selective Cross-Modality
Distillation via CLIP for Domain Generalization
- arxiv url: http://arxiv.org/abs/2311.15145v2
- Date: Sun, 17 Dec 2023 07:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 19:35:18.644728
- Title: Choosing Wisely and Learning Deeply: Selective Cross-Modality
Distillation via CLIP for Domain Generalization
- Title(参考訳): 微妙な選択と深層学習:ドメイン一般化のためのCLIPによる選択的クロスモーダル蒸留
- Authors: Jixuan Leng, Yijiang Li, Haohan Wang
- Abstract要約: ドメイン一般化(Domain Generalization, DG)は、複数のドメインにまたがるモデルをトレーニングし、見えないドメインでテストすることを目指している。
ドメイン一般化のための選択的クロスモーダル蒸留法(Selective Cross-Modality Distillation for Domain Generalization, SCMD)を提案する。
SCMDは大規模な視覚言語モデル、特にCLIPモデルの能力を活用して、より効率的なモデルをトレーニングする。
- 参考スコア(独自算出の注目度): 13.837406082703756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain Generalization (DG), a crucial research area, seeks to train models
across multiple domains and test them on unseen ones. In this paper, we
introduce a novel approach, namely, Selective Cross-Modality Distillation for
Domain Generalization (SCMD). SCMD leverages the capabilities of large
vision-language models, specifically the CLIP model, to train a more efficient
model, ensuring it acquires robust generalization capabilities across unseen
domains. Our primary contribution is a unique selection framework strategically
designed to identify hard-to-learn samples for distillation. In parallel, we
introduce a novel cross-modality module. This module seamlessly combines the
projected features of the student model with the text embeddings from CLIP,
ensuring the alignment of similarity distributions. We assess SCMD's
performance on various benchmarks, where it empowers a ResNet50 to deliver
state-of-the-art performance, surpassing existing domain generalization
methods. Furthermore, we provide a theoretical analysis of our selection
strategy, offering deeper insight into its effectiveness and potential in the
field of DG.
- Abstract(参考訳): ドメインの一般化(DG)は重要な研究領域であり、複数のドメインにまたがるモデルをトレーニングし、目に見えない領域でテストすることを目指している。
本稿では、ドメイン一般化のための選択的クロスモダリティ蒸留(scmd)という新しいアプローチを提案する。
SCMDは、大きな視覚言語モデル、特にCLIPモデルの能力を活用して、より効率的なモデルをトレーニングし、目に見えない領域にわたって堅牢な一般化能力を取得する。
我々の主な貢献は、蒸留の難しいサンプルを特定するために戦略的に設計されたユニークな選択フレームワークである。
並行して、新しいクロスモダリティモジュールを導入する。
このモジュールは、学生モデルの投影された特徴とCLIPからのテキスト埋め込みをシームレスに組み合わせ、類似度分布のアライメントを保証する。
SCMDの性能を様々なベンチマークで評価し、ResNet50が既存のドメイン一般化手法を超越して最先端のパフォーマンスを提供できるようにします。
さらに、我々は選択戦略の理論分析を行い、DG分野におけるその有効性と可能性について深い洞察を提供する。
関連論文リスト
- Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。
AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。
その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
論文 参考訳(メタデータ) (2022-08-03T11:51:11Z) - Multi-level Consistency Learning for Semi-supervised Domain Adaptation [85.90600060675632]
半教師付きドメイン適応(SSDA)は、完全にラベル付けされたソースドメインから学習した知識をわずかにラベル付けされたターゲットドメインに適用することを目的としている。
SSDAのための多レベル一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-09T06:41:18Z) - A Novel Mix-normalization Method for Generalizable Multi-source Person
Re-identification [49.548815417844786]
人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。
モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。
ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
論文 参考訳(メタデータ) (2022-01-24T18:09:38Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T08:06:50Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - Learning to Diversify for Single Domain Generalization [46.35670520201863]
ドメイン一般化(DG)は、複数のソース(トレーニング)ドメインで訓練されたモデルを、分散的に異なるターゲット(テスト)ドメインに一般化することを目的としている。
本稿では、より現実的で困難なシナリオ、すなわちSingle-DG(Single-DG)について考察する。
このシナリオでは、限られた多様性は、目に見えないターゲット領域上のモデル一般化を危険にさらす可能性がある。
そこで本研究では,ソースコードに相補的な多種多様な分布の画像を合成することにより,モデルの一般化能力を高めるためのスタイル補完モジュールを提案する。
論文 参考訳(メタデータ) (2021-08-26T12:04:32Z) - Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain
Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。
対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。
その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。
モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文 参考訳(メタデータ) (2020-12-15T13:21:54Z) - Discriminative Adversarial Domain Generalization with Meta-learning
based Cross-domain Validation [9.265557367859637]
ドメイン一般化(DG)技術は、機械学習モデルのそのような一般化能力を高めることを目的としている。
メタラーニングに基づくクロスドメイン検証により,DADG(Dariminative Adversarial Domain Generalization)を提案する。
その結果、DADGは強力なベースラインであるDeepAllを一貫して上回り、ほとんどの場合、既存のDGアルゴリズムよりも上回ります。
論文 参考訳(メタデータ) (2020-11-01T07:48:16Z) - Generalizable Model-agnostic Semantic Segmentation via Target-specific
Normalization [24.14272032117714]
一般化可能なセマンティックセグメンテーションタスクのための新しいドメイン一般化フレームワークを提案する。
モデルに依存しない学習を利用してドメインシフト問題をシミュレートする。
観測対象領域と観測対象領域間のデータ分散の相違を考慮し、目標固有正規化方式を開発する。
論文 参考訳(メタデータ) (2020-03-27T09:25:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。