論文の概要: Understanding Hessian Alignment for Domain Generalization

• arxiv url: http://arxiv.org/abs/2308.11778v1
• Date: Tue, 22 Aug 2023 20:36:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:46:33.278527
• Title: Understanding Hessian Alignment for Domain Generalization
• Title（参考訳）: ドメイン一般化のためのヘシアンアライメントの理解
• Authors: Sobhan Hemati, Guojun Zhang, Amir Estiri, Xi Chen
• Abstract要約: 勾配ベースの正規化器は、他の競合製品と比較して有望な性能を示している。 領域一般化における分類器の頭部ヘッセン行列と勾配の役割を最近のOOD理論を用いて解析する。 その結果,Hessianアライメント手法は様々なOODベンチマークで有望な性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 11.001686792185962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) generalization is a critical ability for deep learning models in many real-world scenarios including healthcare and autonomous vehicles. Recently, different techniques have been proposed to improve OOD generalization. Among these methods, gradient-based regularizers have shown promising performance compared with other competitors. Despite this success, our understanding of the role of Hessian and gradient alignment in domain generalization is still limited. To address this shortcoming, we analyze the role of the classifier's head Hessian matrix and gradient in domain generalization using recent OOD theory of transferability. Theoretically, we show that spectral norm between the classifier's head Hessian matrices across domains is an upper bound of the transfer measure, a notion of distance between target and source domains. Furthermore, we analyze all the attributes that get aligned when we encourage similarity between Hessians and gradients. Our analysis explains the success of many regularizers like CORAL, IRM, V-REx, Fish, IGA, and Fishr as they regularize part of the classifier's head Hessian and/or gradient. Finally, we propose two simple yet effective methods to match the classifier's head Hessians and gradients in an efficient way, based on the Hessian Gradient Product (HGP) and Hutchinson's method (Hutchinson), and without directly calculating Hessians. We validate the OOD generalization ability of proposed methods in different scenarios, including transferability, severe correlation shift, label shift and diversity shift. Our results show that Hessian alignment methods achieve promising performance on various OOD benchmarks. The code is available at \url{https://github.com/huawei-noah/Federated-Learning/tree/main/HessianAlignment}.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、ヘルスケアや自動運転車を含む多くの現実のシナリオにおいて、ディープラーニングモデルにとって重要な能力である。 近年,ood一般化を改善するための様々な手法が提案されている。 これらの手法のうち、勾配式正規化器は他の競合に比べて有望な性能を示した。 この成功にもかかわらず、領域一般化におけるヘシアンと勾配アライメントの役割に対する我々の理解はまだ限られている。 この欠点に対処するために、最近のOOD理論を用いた領域一般化における分類器の頭部ヘッセン行列と勾配の役割を解析する。 理論的には、分類器の頭部ヘッセン行列間の領域間のスペクトルノルムが、ターゲット領域とソース領域の間の距離の概念である転送測度の上界であることが示される。 さらに, ヘシアンと勾配の類似性を促すと, 整列する属性をすべて解析する。 本解析では, サンゴ, irm, v-rex, fish, iga, fishrなど多くの正規化剤が, 分類器の頭部ヘッシアンおよび/または勾配の一部を規則化することにより, その成功を明らかにした。 最後に,ヘシアン勾配積(hgp)とハッチンソン法(hutchinson)に基づいて,ヘシアンを直接計算することなく,分類器の頭部ヘシアンと勾配を効率的にマッチングする2つの簡易かつ効果的な手法を提案する。 提案手法のOOD一般化能力は,転送性,重相関シフト,ラベルシフト,多様性シフトなど,様々なシナリオで検証する。 その結果,Hessianアライメント手法は様々なOODベンチマークで有望な性能を実現することがわかった。 コードは \url{https://github.com/huawei-noah/federated-learning/tree/main/hessianalignment} で入手できる。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
  トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。 我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T03:28:59Z)
• HYPO: Hyperspherical Out-of-Distribution Generalization [35.02297657453378]
  超球面空間におけるドメイン不変表現を確実に学習する新しいフレームワークを提案する。 特に,超球面学習アルゴリズムは,クラス内変動とクラス間分離原理によって導かれる。 我々は,本手法が競争基準より優れ,優れた性能を発揮することを実証する。
  論文  参考訳（メタデータ） (2024-02-12T16:50:07Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
  フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-07T08:36:09Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。