論文の概要: Domain Generalization via Pareto Optimal Gradient Matching

• arxiv url: http://arxiv.org/abs/2507.14227v1
• Date: Wed, 16 Jul 2025 22:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.784006
• Title: Domain Generalization via Pareto Optimal Gradient Matching
• Title（参考訳）: Pareto Optimal Gradient Matchingによるドメイン一般化
• Authors: Khoi Do, Duong Nguyen, Nam-Khanh Le, Quoc-Viet Pham, Binh-Son Hua, Won-Joo Hwang,
• Abstract要約: そこでは,各領域にまたがる一貫した勾配方向を予測する領域一般化問題に対処する。 まず、勾配実験距離または勾配内積(GIP)の最小化は、ドメイン間の勾配変動をもたらす。 第二に、勾配学習の関節損失関数への直接適用は、二階微分近似による高いオーバーヘッドを生じさせる。 正規化として勾配マッチングを追加する既存の手法とは対照的に、グラデーショントラジェクトリを収集データとして活用し、メタラーナーで独立した訓練を施す。メタ更新では、学習した勾配を制限しながらGIPを最大化する。
• 参考スコア（独自算出の注目度）: 15.609331960945292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we address the gradient-based domain generalization problem, where predictors aim for consistent gradient directions across different domains. Existing methods have two main challenges. First, minimization of gradient empirical distance or gradient inner products (GIP) leads to gradient fluctuations among domains, thereby hindering straightforward learning. Second, the direct application of gradient learning to the joint loss function can incur high computation overheads due to second-order derivative approximation. To tackle these challenges, we propose a new Pareto Optimality Gradient Matching (POGM) method. In contrast to existing methods that add gradient matching as regularization, we leverage gradient trajectories as collected data and apply independent training at the meta-learner. In the meta-update, we maximize GIP while limiting the learned gradient from deviating too far from the empirical risk minimization gradient trajectory. By doing so, the aggregate gradient can incorporate knowledge from all domains without suffering gradient fluctuation towards any particular domain. Experimental evaluations on datasets from DomainBed demonstrate competitive results yielded by POGM against other baselines while achieving computational efficiency.
• Abstract（参考訳）: 本研究では,各領域にまたがる一貫した勾配方向を予測器が目的とする,勾配に基づく領域一般化問題に対処する。 既存の方法には2つの大きな課題がある。 第一に、勾配実験距離や勾配内積(GIP)の最小化は、ドメイン間の勾配変動を招き、直接学習を妨げる。 第二に、勾配学習の関節損失関数への直接適用は、二階微分近似による高い計算オーバーヘッドを生じさせる。 これらの課題に対処するため、我々は新しいPaleto Optimality Gradient Matching (POGM)法を提案する。 正規化として勾配マッチングを追加する既存の手法とは対照的に、勾配軌跡を収集データとして利用し、メタラーナーで独立トレーニングを適用する。 メタ更新では、学習した勾配が経験的リスク最小化勾配軌道から遠すぎることを制限しながら、GIPを最大化する。 これにより、集約勾配は任意の特定の領域に対する勾配変動に悩まされることなく、すべての領域からの知識を組み込むことができる。 DomainBedのデータセットに対する実験的評価は、計算効率を達成しつつ、POGMが他のベースラインに対してもたらす競合結果を示している。

関連論文リスト

• Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization [13.021311628351423]
  ドメイン一般化(DG)は、目に見えないターゲットドメインによく一般化するモデルの開発を目指している。 DGにおける研究の1行は、一般化を強化するためにドメインレベルの勾配とヘッセンの整合性に焦点を当てている。 textbfClosed-Form textbfMoment textbfAlignment (CMA)を導入する。
  論文  参考訳（メタデータ） (2025-06-09T02:51:36Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Expected Grad-CAM: Towards gradient faithfulness [7.2203673761998495]
  勾配重み付きCAMアプローチは依然としてバニラ勾配に依存している。 本研究は飽和度と感度問題に対処する勾配重み付きCAM増強法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T12:40:30Z)
• Signal Processing Meets SGD: From Momentum to Filter [6.751292200515355]
  ディープラーニングでは、勾配降下(SGD)とその運動量に基づく変種が最適化に広く利用されている。 本稿では,信号処理レンズを用いて勾配挙動を解析し,更新に影響を与える重要な要因を分離する。 本稿では,ワイナーフィルタの原理に基づく新しいSGDF手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T01:41:46Z)
• On the Second-Order Convergence of Biased Policy Gradient Algorithms [11.955062839855334]
  勾配ポリシーは2階の定常点でサドルを逃れる。 バイアス勾配法の新しい2次解析法を提案する。 また,チェーンの初期状態分布の収束点を確立する。
  論文  参考訳（メタデータ） (2023-11-05T02:33:30Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Sample Efficient Reinforcement Learning with REINFORCE [10.884278019498588]
  本稿では,古典的政策勾配法と広く用いられているREINFORCE推定手法について考察する。 悪い」エピソードの数を制御することによって、常にサブリニアな高い後悔の束縛を確立し、平均的後悔のグローバル収束を、アナルなサブリニアレートでほぼ確実に確立する。 これらのアルゴリズムは、よく知られたREINFORCEアルゴリズムに対して、グローバル収束とサンプル効率の最初のセットを提供し、実際にの性能をよりよく理解するのに貢献する。
  論文  参考訳（メタデータ） (2020-10-22T01:02:55Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。