論文の概要: Choosing Wisely and Learning Deeply: Selective Cross-Modality Distillation via CLIP for Domain Generalization

• arxiv url: http://arxiv.org/abs/2311.15145v2
• Date: Sun, 17 Dec 2023 07:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 19:35:18.644728
• Title: Choosing Wisely and Learning Deeply: Selective Cross-Modality Distillation via CLIP for Domain Generalization
• Title（参考訳）: 微妙な選択と深層学習:ドメイン一般化のためのCLIPによる選択的クロスモーダル蒸留
• Authors: Jixuan Leng, Yijiang Li, Haohan Wang
• Abstract要約: ドメイン一般化(Domain Generalization, DG)は、複数のドメインにまたがるモデルをトレーニングし、見えないドメインでテストすることを目指している。 ドメイン一般化のための選択的クロスモーダル蒸留法(Selective Cross-Modality Distillation for Domain Generalization, SCMD)を提案する。 SCMDは大規模な視覚言語モデル、特にCLIPモデルの能力を活用して、より効率的なモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 13.837406082703756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain Generalization (DG), a crucial research area, seeks to train models across multiple domains and test them on unseen ones. In this paper, we introduce a novel approach, namely, Selective Cross-Modality Distillation for Domain Generalization (SCMD). SCMD leverages the capabilities of large vision-language models, specifically the CLIP model, to train a more efficient model, ensuring it acquires robust generalization capabilities across unseen domains. Our primary contribution is a unique selection framework strategically designed to identify hard-to-learn samples for distillation. In parallel, we introduce a novel cross-modality module. This module seamlessly combines the projected features of the student model with the text embeddings from CLIP, ensuring the alignment of similarity distributions. We assess SCMD's performance on various benchmarks, where it empowers a ResNet50 to deliver state-of-the-art performance, surpassing existing domain generalization methods. Furthermore, we provide a theoretical analysis of our selection strategy, offering deeper insight into its effectiveness and potential in the field of DG.
• Abstract（参考訳）: ドメインの一般化(DG)は重要な研究領域であり、複数のドメインにまたがるモデルをトレーニングし、目に見えない領域でテストすることを目指している。 本稿では、ドメイン一般化のための選択的クロスモダリティ蒸留(scmd)という新しいアプローチを提案する。 SCMDは、大きな視覚言語モデル、特にCLIPモデルの能力を活用して、より効率的なモデルをトレーニングし、目に見えない領域にわたって堅牢な一般化能力を取得する。 我々の主な貢献は、蒸留の難しいサンプルを特定するために戦略的に設計されたユニークな選択フレームワークである。 並行して、新しいクロスモダリティモジュールを導入する。 このモジュールは、学生モデルの投影された特徴とCLIPからのテキスト埋め込みをシームレスに組み合わせ、類似度分布のアライメントを保証する。 SCMDの性能を様々なベンチマークで評価し、ResNet50が既存のドメイン一般化手法を超越して最先端のパフォーマンスを提供できるようにします。 さらに、我々は選択戦略の理論分析を行い、DG分野におけるその有効性と可能性について深い洞察を提供する。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization [61.16890890570814]
  ドメイン一般化(Domain Generalization, DG)手法は、複数のソースドメインからのトレーニングデータを使用することで、目に見えないターゲットドメインにおける優れたパフォーマンスを維持することを目的としている。 この作業では、DGを改善するために、ターゲットモデルをすべてのソースドメインの専門家にすることを目的とした、複数の専門家(LFME)からの学習と呼ばれる、シンプルだが効果的なフレームワークを導入している。
  論文  参考訳（メタデータ） (2024-10-22T13:44:10Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
  ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。 AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。 その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-03T11:51:11Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)
• Discriminative Adversarial Domain Generalization with Meta-learning based Cross-domain Validation [9.265557367859637]
  ドメイン一般化(DG)技術は、機械学習モデルのそのような一般化能力を高めることを目的としている。 メタラーニングに基づくクロスドメイン検証により,DADG(Dariminative Adversarial Domain Generalization)を提案する。 その結果、DADGは強力なベースラインであるDeepAllを一貫して上回り、ほとんどの場合、既存のDGアルゴリズムよりも上回ります。
  論文  参考訳（メタデータ） (2020-11-01T07:48:16Z)
• Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization [24.14272032117714]
  一般化可能なセマンティックセグメンテーションタスクのための新しいドメイン一般化フレームワークを提案する。 モデルに依存しない学習を利用してドメインシフト問題をシミュレートする。 観測対象領域と観測対象領域間のデータ分散の相違を考慮し、目標固有正規化方式を開発する。
  論文  参考訳（メタデータ） (2020-03-27T09:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。