論文の概要: Fishr: Invariant Gradient Variances for Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2109.02934v1
• Date: Tue, 7 Sep 2021 08:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 21:05:32.782159
• Title: Fishr: Invariant Gradient Variances for Out-of-distribution Generalization
• Title（参考訳）: fishr: 分散一般化のための不変勾配分散
• Authors: Alexandre Rame, Corentin Dancette, Matthieu Cord
• Abstract要約: フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 98.40583494166314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning robust models that generalize well under changes in the data distribution is critical for real-world applications. To this end, there has been a growing surge of interest to learn simultaneously from multiple training domains - while enforcing different types of invariance across those domains. Yet, all existing approaches fail to show systematic benefits under fair evaluation protocols. In this paper, we propose a new learning scheme to enforce domain invariance in the space of the gradients of the loss function: specifically, we introduce a regularization term that matches the domain-level variances of gradients across training domains. Critically, our strategy, named Fishr, exhibits close relations with the Fisher Information and the Hessian of the loss. We show that forcing domain-level gradient covariances to be similar during the learning procedure eventually aligns the domain-level loss landscapes locally around the final weights. Extensive experiments demonstrate the effectiveness of Fishr for out-of-distribution generalization. In particular, Fishr improves the state of the art on the DomainBed benchmark and performs significantly better than Empirical Risk Minimization. The code is released at https://github.com/alexrame/fishr.
• Abstract（参考訳）: 実世界のアプリケーションでは、データ分散の変化によってよく一般化されるロバストなモデルを学習することが重要です。 この目的のために、複数のトレーニングドメインから同時に学ぶことへの関心が高まっています。 しかし、既存のアプローチはすべて、公正な評価プロトコルの下で体系的な利点を示さない。 本稿では,損失関数の勾配空間における領域不変性(domain invariance)を強制する新しい学習手法を提案する。 批判的に、我々の戦略であるfishrは、フィッシャー情報と損失のヘシアンと密接な関係を示している。 学習手順中にドメインレベルの勾配の共分散を強制すると、最終的にドメインレベルの損失のランドスケープが最終重みの周りで局所的に整列することを示す。 大規模な実験は、分布外一般化におけるフィッシャーの有効性を示す。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。 コードはhttps://github.com/alexrame/fishrでリリースされている。

関連論文リスト

• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Domain Generalization via Gradient Surgery [5.38147998080533]
  現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。 本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
  論文  参考訳（メタデータ） (2021-08-03T16:49:25Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Fisher Deep Domain Adaptation [41.50519723389471]
  ディープドメイン適応モデルは、ラベル付きソースドメインからの知識を活用することにより、ラベル付けされていないターゲットドメインでニューラルネットワークを学習する。 フィッシャー損失は、クラス内コンパクトでクラス間分離可能な識別表現を学習するために提案される。
  論文  参考訳（メタデータ） (2020-03-12T06:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。