論文の概要: Do We Need to Directly Access the Source Datasets for Domain
Generalization?
- arxiv url: http://arxiv.org/abs/2110.06736v2
- Date: Fri, 15 Oct 2021 10:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 10:26:36.982506
- Title: Do We Need to Directly Access the Source Datasets for Domain
Generalization?
- Title(参考訳): ドメインの一般化のために、ソースデータセットに直接アクセスする必要がありますか?
- Authors: Junkun Yuan, Xu Ma, Defang Chen, Kun Kuang, Fei Wu, Lanfen Lin
- Abstract要約: ドメイン一般化は、未知のターゲットドメインに対して、複数の既知のソースドメインから一般化可能なモデルを学ぶことを目的としている。
本稿では、分散ソースデータセットを直接アクセスすることなく、一般化可能なモデルをトレーニングする難題について紹介する。
本稿では,まず各ソースデータセット上でモデルをトレーニングし,次にデータフリーなモデル融合を行う新しい手法を提案する。
- 参考スコア(独自算出の注目度): 19.679447374738498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization (DG) aims to learn a generalizable model from multiple
known source domains for unknown target domains. Tremendous data distributed
across lots of places/devices nowadays that can not be directly accessed due to
privacy protection, especially in some crucial areas like finance and medical
care. However, most of the existing DG algorithms assume that all the source
datasets are accessible and can be mixed for domain-invariant semantics
extraction, which may fail in real-world applications. In this paper, we
introduce a challenging setting of training a generalizable model by using
distributed source datasets without directly accessing them. We propose a novel
method for this setting, which first trains a model on each source dataset and
then conduct data-free model fusion that fuses the trained models
layer-by-layer based on their semantic similarities, which aggregates different
levels of semantics from the distributed sources indirectly. The fused model is
then transmitted and trained on each dataset, we further introduce cross-layer
semantic calibration for domain-invariant semantics enhancement, which aligns
feature maps between the fused model and a fixed local model with an attention
mechanism. Extensive experiments on multiple DG datasets show the significant
performance of our method in tackling this challenging setting, which is even
on par or superior to the performance of the state-of-the-art DG approaches in
the standard DG setting.
- Abstract(参考訳): ドメイン一般化(DG)は、未知のターゲットドメインに対して、複数の既知のソースドメインから一般化可能なモデルを学ぶことを目的としている。
特に金融や医療といった重要な分野では、プライバシー保護のために直接アクセスできない多くの場所/デバイスに分散している。
しかし、既存のDGアルゴリズムのほとんどは、すべてのソースデータセットがアクセス可能であり、現実世界のアプリケーションでは失敗するかもしれないドメイン不変セマンティクス抽出に混合できると仮定している。
本稿では,分散ソースデータセットを用いた一般化モデルのトレーニングを,直接アクセスすることなく困難に設定することを提案する。
そこで本研究では,まず,各ソースデータセット上でモデルをトレーニングし,その意味的類似性に基づいて訓練されたモデル層を融合するデータフリーモデル融合を,分散ソースから異なるレベルのセマンティクスを間接的に集約する手法を提案する。
さらに、融合モデルと固定局所モデルとの間の特徴マップをアテンション機構で整列するドメイン不変セマンティックス拡張のための層間セマンティックキャリブレーションを導入する。
複数のDGデータセットに対する大規模な実験は、標準DG設定における最先端DGアプローチの性能に匹敵する、この挑戦的な設定に取り組む上で、我々の方法の顕著な性能を示している。
関連論文リスト
- Reducing Source-Private Bias in Extreme Universal Domain Adaptation [11.875619863954238]
Universal Domain Adaptation (UniDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
我々は、ソースドメインが重複するクラスよりもはるかに重複しないクラスを持つ場合、最先端のメソッドが苦労していることを示す。
対象データの構造を保存するために,自己教師付き学習を提案する。
論文 参考訳(メタデータ) (2024-10-15T04:51:37Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳(メタデータ) (2023-09-28T09:32:27Z) - Single-domain Generalization in Medical Image Segmentation via Test-time
Adaptation from Shape Dictionary [64.5632303184502]
ドメインの一般化は通常、モデル学習のために複数のソースドメインからのデータを必要とする。
本稿では,1つのソースドメインのみで最悪のシナリオ下でモデルを学習し,異なる未確認対象ドメインに直接一般化する,重要な単一ドメインの一般化問題について考察する。
本稿では,領域間で不変なセグメンテーションのセグメンテーション先情報を抽出し,統合する医用画像セグメンテーションにおいて,この問題に対処する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-06-29T08:46:27Z) - Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。
組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。
4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文 参考訳(メタデータ) (2022-03-24T11:54:59Z) - Towards Data-Free Domain Generalization [12.269045654957765]
異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか?
以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。
DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
論文 参考訳(メタデータ) (2021-10-09T11:44:05Z) - Generalizable Person Re-identification with Relevance-aware Mixture of
Experts [45.13716166680772]
我々はRaMoE(Relevance-Aware Mixed of Expert)と呼ばれる新しい手法を提案する。
RaMoEは、効率的な投票に基づく混合メカニズムを使用して、モデル一般化を改善するために、ソースドメインの様々な特性を動的に活用する。
対象ドメインの学習時の視認性を考慮し,新たな学習学習アルゴリズムと関係アライメント損失を組み合わせることで,投票ネットワークを更新する手法を提案する。
論文 参考訳(メタデータ) (2021-05-19T14:19:34Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-25T14:33:33Z) - Learning to Combine: Knowledge Aggregation for Multi-Source Domain
Adaptation [56.694330303488435]
マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。
簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-07-17T07:52:44Z) - Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation
Method for Semantic Segmentation [97.8552697905657]
このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。
本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。
GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
論文 参考訳(メタデータ) (2020-04-02T03:25:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。