論文の概要: Gradient Matching for Domain Generalization

• arxiv url: http://arxiv.org/abs/2104.09937v1
• Date: Tue, 20 Apr 2021 12:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 19:19:21.821975
• Title: Gradient Matching for Domain Generalization
• Title（参考訳）: ドメイン一般化のための勾配マッチング
• Authors: Yuge Shi, Jeffrey Seely, Philip H.S. Torr, N. Siddharth, Awni Hannun, Nicolas Usunier, Gabriel Synnaeve
• Abstract要約: 機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
• 参考スコア（独自算出の注目度）: 93.04545793814486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning systems typically assume that the distributions of training and test sets match closely. However, a critical requirement of such systems in the real world is their ability to generalize to unseen domains. Here, we propose an inter-domain gradient matching objective that targets domain generalization by maximizing the inner product between gradients from different domains. Since direct optimization of the gradient inner product can be computationally prohibitive -- requires computation of second-order derivatives -- we derive a simpler first-order algorithm named Fish that approximates its optimization. We demonstrate the efficacy of Fish on 6 datasets from the Wilds benchmark, which captures distribution shift across a diverse range of modalities. Our method produces competitive results on these datasets and surpasses all baselines on 4 of them. We perform experiments on both the Wilds benchmark, which captures distribution shift in the real world, as well as datasets in DomainBed benchmark that focuses more on synthetic-to-real transfer. Our method produces competitive results on both benchmarks, demonstrating its effectiveness across a wide range of domain generalization tasks.
• Abstract（参考訳）: 機械学習システムは通常、トレーニングとテストセットの分布が密接に一致すると仮定する。 しかし、現実世界におけるそのようなシステムに対する重要な要件は、目に見えない領域に一般化する能力である。 本稿では、異なる領域からの勾配間の内積を最大化することにより、ドメインの一般化を目標とするドメイン間勾配マッチング目的を提案する。 勾配内積の直接最適化は -- 二階微分の計算を必要とする -- 計算的に禁止されるので、その最適化を近似する単純な一階アルゴリズムfishを導出する。 本研究では,Wildsベンチマークから得られた6つのデータセットに対する魚の有効性を示す。 提案手法はこれらのデータセット上で競争結果を生成し,その内4つのベースラインを全て越える。 実世界の分布変化を捉えたWildsベンチマークと、合成から現実への移動に焦点を当てたDomainBedベンチマークのデータセットの両方で実験を行った。 提案手法は,両ベンチマークで競合する結果をもたらし,幅広いドメイン一般化タスクにおいてその効果を示す。

関連論文リスト

• Improving Multi-Domain Generalization through Domain Re-labeling [31.636953426159224]
  本稿では,事前特定ドメインラベルと一般化性能の関連性について検討する。 マルチドメイン一般化のための一般的なアプローチであるMulDEnsを導入し,ERMをベースとした深層アンサンブルバックボーンを用いた。 我々は、MulDEnsがデータセット固有の拡張戦略やトレーニングプロセスの調整を必要としないことを示す。
  論文  参考訳（メタデータ） (2021-12-17T23:21:50Z)
• Frequency Spectrum Augmentation Consistency for Domain Adaptive Object Detection [107.52026281057343]
  周波数スペクトル拡張整合(FSAC)フレームワークを4種類の低周波フィルタで構成する。 最初の段階では、オリジナルおよび拡張されたソースデータを全て利用して、オブジェクト検出器を訓練する。 第2段階では、予測一貫性のための自己学習を行うために、擬似ラベル付き拡張現実とターゲットデータを採用する。
  論文  参考訳（メタデータ） (2021-12-16T04:07:01Z)
• Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
  フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-07T08:36:09Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Adaptive Methods for Real-World Domain Generalization [32.030688845421594]
  本研究では、未確認の試験サンプルからドメイン情報を活用できるかどうかを検討する。 a) 教師なしのトレーニング例から識別的ドメイン埋め込みを最初に学び、b) このドメイン埋め込みを補足的な情報として使ってドメイン適応モデルを構築する。 提案手法は,各種領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-29T17:44:35Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)
• A simple baseline for domain adaptation using rotation prediction [17.539027866457673]
  目標は、あるドメインでトレーニングされたモデルを、注釈付きデータが少ない別のドメインに適応させることだ。 本稿では,自己教師付き学習に基づく簡易かつ効果的な手法を提案する。 提案手法は,DomainNetデータセット上での半教師付きドメイン適応における最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2019-12-26T17:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。