論文の概要: SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization

• arxiv url: http://arxiv.org/abs/2106.02266v1
• Date: Fri, 4 Jun 2021 05:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 04:56:40.405135
• Title: SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization
• Title（参考訳）: sand-mask: 領域一般化における不変性の発見のための拡張勾配マスキング戦略
• Authors: Soroosh Shahtalebi, Jean-Christophe Gagnon-Audet, Touraj Laleh, Mojtaba Faramarzi, Kartik Ahuja, Irina Rish
• Abstract要約: ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
• 参考スコア（独自算出の注目度）: 7.253255826783766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major bottleneck in the real-world applications of machine learning models is their failure in generalizing to unseen domains whose data distribution is not i.i.d to the training domains. This failure often stems from learning non-generalizable features in the training domains that are spuriously correlated with the label of data. To address this shortcoming, there has been a growing surge of interest in learning good explanations that are hard to vary, which is studied under the notion of Out-of-Distribution (OOD) Generalization. The search for good explanations that are \textit{invariant} across different domains can be seen as finding local (global) minimas in the loss landscape that hold true across all of the training domains. In this paper, we propose a masking strategy, which determines a continuous weight based on the agreement of gradients that flow in each edge of network, in order to control the amount of update received by the edge in each step of optimization. Particularly, our proposed technique referred to as "Smoothed-AND (SAND)-masking", not only validates the agreement in the direction of gradients but also promotes the agreement among their magnitudes to further ensure the discovery of invariances across training domains. SAND-mask is validated over the Domainbed benchmark for domain generalization and significantly improves the state-of-the-art accuracy on the Colored MNIST dataset while providing competitive results on other domain generalization datasets.
• Abstract（参考訳）: 機械学習モデルの現実的な応用における大きなボトルネックは、トレーニングドメインにデータ分散がi.d.d.でない未確認領域に一般化する際の失敗である。 この失敗は、データラベルと散発的に相関するトレーニングドメインの非一般化な特徴の学習に起因していることが多い。 この欠点に対処するため、アウト・オブ・ディストリビューション・ジェネリゼーション(OOD)という概念の下で研究される、変化の難しい良質な説明を学ぶことへの関心が高まっている。 異なる領域にまたがって \textit{invariant} となるよい説明の探索は、すべての訓練領域にまたがる損失の風景において局所(グローバル)のミニマムを見つけることができる。 本稿では,最適化の各ステップにおいてエッジが受信した更新量を制御するために,ネットワークの各エッジに流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 特に,本提案手法は「SAND(Smoothed-AND)-masking」と呼ばれ,勾配方向の一致を検証するだけでなく,等級間の一致を促進し,トレーニング領域間の不均一性の発見をさらに確実にする。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証され、他のドメイン一般化データセットの競合結果を提供しながら、Colored MNISTデータセットの最先端の精度を大幅に向上する。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
  フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-07T08:36:09Z)
• Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization [33.84004077585957]
  本稿では,ドメイン一般化のための識別型ドメイン不変逆数ネットワーク(DDIAN)を提案する。 DDIANは、最先端のドメイン一般化アプローチと比較して、トレーニング中の未確認対象データに対するより良い予測を実現している。
  論文  参考訳（メタデータ） (2021-08-20T04:24:12Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Domain Adaptation in LiDAR Semantic Segmentation by Aligning Class Distributions [9.581605678437032]
  この研究は、LiDARセマンティックセグメンテーションモデルに対する教師なしドメイン適応の問題に対処する。 我々のアプローチは、現在の最先端のアプローチの上に新しいアイデアを結合し、新しい最先端の成果をもたらす。
  論文  参考訳（メタデータ） (2020-10-23T08:52:15Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。