論文の概要: SelfReg: Self-supervised Contrastive Regularization for Domain Generalization

• arxiv url: http://arxiv.org/abs/2104.09841v1
• Date: Tue, 20 Apr 2021 09:08:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:53:56.569188
• Title: SelfReg: Self-supervised Contrastive Regularization for Domain Generalization
• Title（参考訳）: selfreg: ドメイン一般化のための自己教師付きコントラスト正規化
• Authors: Daehee Kim, Seunghyun Park, Jinkyu Kim, and Jaekoo Lee
• Abstract要約: 対照的学習,自己教師付きコントラスト正規化(SelfReg)に基づく領域一般化のための新しい正規化手法を提案する。 提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。 最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。
• 参考スコア（独自算出の注目度）: 7.512471799525974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In general, an experimental environment for deep learning assumes that the training and the test dataset are sampled from the same distribution. However, in real-world situations, a difference in the distribution between two datasets, domain shift, may occur, which becomes a major factor impeding the generalization performance of the model. The research field to solve this problem is called domain generalization, and it alleviates the domain shift problem by extracting domain-invariant features explicitly or implicitly. In recent studies, contrastive learning-based domain generalization approaches have been proposed and achieved high performance. These approaches require sampling of the negative data pair. However, the performance of contrastive learning fundamentally depends on quality and quantity of negative data pairs. To address this issue, we propose a new regularization method for domain generalization based on contrastive learning, self-supervised contrastive regularization (SelfReg). The proposed approach use only positive data pairs, thus it resolves various problems caused by negative pair sampling. Moreover, we propose a class-specific domain perturbation layer (CDPL), which makes it possible to effectively apply mixup augmentation even when only positive data pairs are used. The experimental results show that the techniques incorporated by SelfReg contributed to the performance in a compatible manner. In the recent benchmark, DomainBed, the proposed method shows comparable performance to the conventional state-of-the-art alternatives. Codes are available at https://github.com/dnap512/SelfReg.
• Abstract（参考訳）: 一般に、ディープラーニングのための実験環境は、トレーニングとテストデータセットが同じ分布からサンプリングされていると仮定する。 しかし、現実の状況では、ドメインシフトという2つのデータセット間の分布の違いが生じ、それがモデルの一般化性能を妨げる主要な要因となる。 この問題を解決する研究分野はドメイン一般化と呼ばれ、ドメイン不変な特徴を明示的にあるいは暗黙的に抽出することでドメインシフト問題を緩和する。 近年,コントラスト学習に基づくドメイン一般化手法が提案され,高い性能を達成している。 これらのアプローチは負のデータペアのサンプリングを必要とする。 しかし、対照的学習の性能は基本的に負のデータ対の品質と量に依存する。 本稿では,コントラスト学習,自己教師付きコントラスト正則化(selfreg)に基づく領域一般化のための新しい正規化手法を提案する。 提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。 さらに,正のデータペアのみを使用した場合でも,ミックスアップ拡張を効果的に適用できるクラス固有領域摂動層(CDPL)を提案する。 実験の結果,selfreg が組み込んだ手法が両立した性能に寄与したことがわかった。 最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。 コードはhttps://github.com/dnap512/selfregで入手できる。

関連論文リスト

• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain-aware Triplet loss in Domain Generalization [0.0]
  ドメインシフトは、テストとトレーニングデータの分布の相違によって引き起こされる。 ドメイン一般化のためのドメイン認識三重項損失を設計し、モデルが類似のセマンティックな特徴をクラスタリングするのを助ける。 本アルゴリズムは,埋め込み空間におけるドメイン情報を分散するように設計されている。
  論文  参考訳（メタデータ） (2023-03-01T14:02:01Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Improving Out-of-Distribution Robustness via Selective Augmentation [61.147630193060856]
  機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。 分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。 LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
  論文  参考訳（メタデータ） (2022-01-02T05:58:33Z)
• Domain Generalization via Domain-based Covariance Minimization [4.414778226415752]
  本稿では,領域間の条件分布の差を最小限に抑えるために,複数の領域に対する新しい分散測定法を提案する。 小規模なデータセットでは、未確認のテストデータセットよりも優れた一般化性能を示す、より良い定量的結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T19:30:15Z)
• Mixup Regularized Adversarial Networks for Multi-Domain Text Classification [16.229317527580072]
  マルチドメインテキスト分類(MDTC)モデルの性能は,共有プライベートパラダイムと敵対的トレーニングによって大幅に向上した。 しかし、既存の方法には2つの問題がある。 この2つの問題に対処するために、MRAN(Mixup regularized adversarial network)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T15:24:05Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。