論文の概要: Gradient Regularized Contrastive Learning for Continual Domain Adaptation

• arxiv url: http://arxiv.org/abs/2007.12942v1
• Date: Sat, 25 Jul 2020 14:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 00:41:25.794242
• Title: Gradient Regularized Contrastive Learning for Continual Domain Adaptation
• Title（参考訳）: 連続領域適応のための勾配正規化コントラスト学習
• Authors: Peng Su, Shixiang Tang, Peng Gao, Di Qiu, Ni Zhao, Xiaogang Wang
• Abstract要約: 本研究では、ラベル付きソースドメインとラベルなしターゲットドメインのシーケンスをモデルに提示する連続的なドメイン適応の問題について検討する。 本研究では,これらの障害を解決するために,グラディエント正規化コントラスト学習を提案する。 本手法は,ラベル付きソースドメインとラベル付きターゲットドメインを併用することにより,意味的識別性とドメイン不変性の両方を共同で学習することができる。
• 参考スコア（独自算出の注目度）: 26.21464286134764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human beings can quickly adapt to environmental changes by leveraging learning experience. However, the poor ability of adapting to dynamic environments remains a major challenge for AI models. To better understand this issue, we study the problem of continual domain adaptation, where the model is presented with a labeled source domain and a sequence of unlabeled target domains. There are two major obstacles in this problem: domain shifts and catastrophic forgetting. In this work, we propose Gradient Regularized Contrastive Learning to solve the above obstacles. At the core of our method, gradient regularization plays two key roles: (1) enforces the gradient of contrastive loss not to increase the supervised training loss on the source domain, which maintains the discriminative power of learned features; (2) regularizes the gradient update on the new domain not to increase the classification loss on the old target domains, which enables the model to adapt to an in-coming target domain while preserving the performance of previously observed domains. Hence our method can jointly learn both semantically discriminative and domain-invariant features with labeled source domain and unlabeled target domains. The experiments on Digits, DomainNet and Office-Caltech benchmarks demonstrate the strong performance of our approach when compared to the state-of-the-art.
• Abstract（参考訳）: 人間は学習経験を生かして環境変化に迅速に適応することができる。 しかし、動的環境への適応能力の低下は、aiモデルにとって大きな課題である。 この問題をより深く理解するために,モデルがラベル付きソースドメインとラベル付き対象ドメインのシーケンスで示される連続的ドメイン適応の問題について検討する。 この問題にはドメインシフトと破滅的な忘れという2つの大きな障害がある。 本研究では,上記の障害を解決するために,勾配正規化コントラスト学習を提案する。 本手法のコアとなるのは,(1) 学習特徴の識別力を維持するソースドメインにおける教師付きトレーニング損失を増大させることなく,対照的な学習損失の勾配を強制すること,(2) 学習対象ドメインにおける分類損失を増大させないために,新たなドメイン上での勾配更新を規則化すること,そして,モデルが来るべきターゲットドメインに適応し,事前観測されたドメインのパフォーマンスを保ちながら適応できるようにすることである。 したがって,ラベル付きソースドメインとラベル付き対象ドメインを併用することで,意味論的判別とドメイン不変性の両方を共同学習することができる。 Digits、DomainNet、Office-Caltechベンチマークの実験は、最先端技術と比較して、我々のアプローチの強いパフォーマンスを示している。

関連論文リスト

• Adversarial Bi-Regressor Network for Domain Adaptive Regression [52.5168835502987]
  ドメインシフトを軽減するために、クロスドメインレグレッタを学ぶことが不可欠です。 本稿では、より効果的なドメイン間回帰モデルを求めるために、ABRNet(Adversarial Bi-Regressor Network)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T18:38:28Z)
• Joint Attention-Driven Domain Fusion and Noise-Tolerant Learning for Multi-Source Domain Adaptation [2.734665397040629]
  マルチソースUnsupervised Domain Adaptationはラベル付きデータを持つ複数のソースドメインからラベル付きターゲットドメインに知識を転送する。 異なるドメインとターゲットドメイン内のノイズの多い擬似ラベル間の分散の相違は、どちらもパフォーマンスのボトルネックにつながる。 本稿では,意識駆動型ドメイン融合(ADNT)と雑音耐性学習(ADNT)を統合し,上記の2つの問題に対処するアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:08:41Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [86.02012896014095]
  本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。 障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。 Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-03-23T04:10:42Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Contradistinguisher: A Vapnik's Imperative to Unsupervised Domain Adaptation [7.538482310185133]
  本研究では,コントラスト特徴を学習するContradistinguisherと呼ばれるモデルを提案する。 Office-31とVisDA-2017における最先端のデータセットを、シングルソースとマルチソースの両方で実現しています。
  論文  参考訳（メタデータ） (2020-05-25T19:54:38Z)
• Towards Stable and Comprehensive Domain Alignment: Max-Margin Domain-Adversarial Training [38.12978698952838]
  適応再構成ネットワーク(ARN)を設計し,MDAT(Max-margin Domain-Adversarial Training)を提案する。 ARNは、余分なネットワーク構造を伴わずに、機能レベルとピクセルレベルのドメインアライメントを実行する。 我々のアプローチは、他の最先端のドメインアライメント手法よりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T07:48:52Z)
• Unsupervised Domain Adaptive Object Detection using Forward-Backward Cyclic Adaptation [13.163271874039191]
  本稿では,フォワード・バック・サイクリック(FBC)トレーニングによる物体検出のための教師なし領域適応手法を提案する。 近年, 対角訓練に基づく領域適応法は, 限界特徴分布アライメントによる領域差最小化に有効であることが示された。 本稿では,後方ホッピングによるソースからターゲットへの適応と,前方通過によるターゲットからソースへの適応を反復的に計算するフォワード・バック・サイクル適応を提案する。
  論文  参考訳（メタデータ） (2020-02-03T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。