論文の概要: Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization

• arxiv url: http://arxiv.org/abs/2506.07378v1
• Date: Mon, 09 Jun 2025 02:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.789037
• Title: Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization
• Title（参考訳）: モーメントアライメント:ドメインの一般化のためのグラディエントとヘシアンマッチングの統合
• Authors: Yuen Chen, Haozhe Si, Guojun Zhang, Han Zhao,
• Abstract要約: ドメイン一般化(DG)は、目に見えないターゲットドメインによく一般化するモデルの開発を目指している。 DGにおける研究の1行は、一般化を強化するためにドメインレベルの勾配とヘッセンの整合性に焦点を当てている。 textbfClosed-Form textbfMoment textbfAlignment (CMA)を導入する。
• 参考スコア（独自算出の注目度）: 13.021311628351423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization (DG) seeks to develop models that generalize well to unseen target domains, addressing the prevalent issue of distribution shifts in real-world applications. One line of research in DG focuses on aligning domain-level gradients and Hessians to enhance generalization. However, existing methods are computationally inefficient and the underlying principles of these approaches are not well understood. In this paper, we develop the theory of moment alignment for DG. Grounded in \textit{transfer measure}, a principled framework for quantifying generalizability between two domains, we first extend the definition of transfer measure to domain generalization that includes multiple source domains and establish a target error bound. Then, we prove that aligning derivatives across domains improves transfer measure both when the feature extractor induces an invariant optimal predictor across domains and when it does not. Notably, moment alignment provides a unifying understanding of Invariant Risk Minimization, gradient matching, and Hessian matching, three previously disconnected approaches to DG. We further connect feature moments and derivatives of the classifier head, and establish the duality between feature learning and classifier fitting. Building upon our theory, we introduce \textbf{C}losed-Form \textbf{M}oment \textbf{A}lignment (CMA), a novel DG algorithm that aligns domain-level gradients and Hessians in closed-form. Our method overcomes the computational inefficiencies of existing gradient and Hessian-based techniques by eliminating the need for repeated backpropagation or sampling-based Hessian estimation. We validate the efficacy of our approach through two sets of experiments: linear probing and full fine-tuning. CMA demonstrates superior performance in both settings compared to Empirical Risk Minimization and state-of-the-art algorithms.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、現実のアプリケーションにおける分散シフトの一般的な問題に対処するため、未確認のターゲットドメインに適切に一般化するモデルの開発を目指している。 DGにおける研究の1行は、一般化を強化するためにドメインレベルの勾配とヘッセンの整合性に焦点を当てている。 しかし、既存の手法は計算的に非効率であり、これらの手法の根底にある原理はよく理解されていない。 本稿では,DGのモーメントアライメントの理論を開発する。 2つの領域間の一般化可能性を定量化するための原則的枠組みであるtextit{transfer measure} を基礎として、まず、複数のソースドメインを含む領域の一般化の定義を拡張し、ターゲットのエラー境界を確立する。 そして,特徴抽出器が領域間で不変な最適予測器を誘導した場合と,そうでない場合の両方において,領域間の導関数の整合性の向上が証明される。 特に、モーメントアライメントは不変リスク最小化(英語版)、勾配マッチング(英語版)、ヘッセンマッチング(英語版)の統一的な理解を提供する。 さらに,分類器ヘッドの特徴モーメントとデリバティブを結合し,特徴学習と分類器フィッティングの両立を確立する。 我々の理論に基づいて、ドメインレベルの勾配とヘシアンを閉形式で整列する新しいDGアルゴリズムである \textbf{C}losed-Form \textbf{M}oment \textbf{A}lignment (CMA) を導入する。 提案手法は,繰り返しバックプロパゲーションやサンプリングに基づくヘッセン推定の必要性を排除し,既存の勾配法とヘッセン法に基づく手法の計算非効率性を克服する。 線形探索と完全微調整の2つの実験により,本手法の有効性を検証した。 CMAは、経験的リスク最小化と最先端のアルゴリズムと比較して、両方の設定で優れたパフォーマンスを示す。

関連論文リスト

• Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
  ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
  論文  参考訳（メタデータ） (2025-02-27T15:01:55Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。