論文の概要: One-Step Generalization Ratio Guided Optimization for Domain Generalization

• arxiv url: http://arxiv.org/abs/2606.16301v1
• Date: Mon, 15 Jun 2026 07:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.13607
• Title: One-Step Generalization Ratio Guided Optimization for Domain Generalization
• Title（参考訳）: 領域一般化のためのワンステップ一般化比最適化
• Authors: Sumin Cho, Dongwon Kim, Kwangsu Kim,
• Abstract要約: ドメインの一般化は、目に見えないターゲットドメインに一般化するモデルを訓練することを目的としています。 勾配に基づくDG法は、主方向の相関を導出するが、しばしば必然的に急激な相関を補強する。 本稿では,各パラメータの損失低減と勾配アライメントに対する寄与を定量化するための GenIE (Generalization-Enhancing Iterative) を提案する。
• 参考スコア（独自算出の注目度）: 10.198349571567155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain Generalization (DG) aims to train models that generalize to unseen target domains but often overfit to domain-specific features, known as undesired correlations. Gradient-based DG methods typically guide gradients in a dominant direction but often inadvertently reinforce spurious correlations. Recent work has employed dropout to regularize overconfident parameters, but has not explicitly adjusted gradient alignment or ensured balanced parameter updates. We propose GENIE (Generalization-ENhancing Iterative Equalizer), a novel optimizer that leverages the One-Step Generalization Ratio (OSGR) to quantify each parameter's contribution to loss reduction and assess gradient alignment. By dynamically equalizing OSGR via a preconditioning factor, GENIE prevents a small subset of parameters from dominating optimization, thereby promoting domain-invariant feature learning. Theoretically, GENIE balances convergence contribution and gradient alignment among parameters, achieving higher OSGR while retaining SGD's convergence rate. Empirically, it outperforms existing optimizers and enhances performance when integrated with various DG and single-DG methods.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、未確認のターゲットドメインに一般化するが、望ましくない相関として知られるドメイン固有の機能に過度に適合するモデルを訓練することを目的としている。 勾配に基づくDG法は典型的には勾配を支配的な方向に導くが、しばしば必然的に急激な相関を補強する。 近年の作業では、過信パラメータを正規化するためにドロップアウトを採用しているが、アライメントのアライメントを明示的に調整したり、バランスの取れたパラメータの更新を保証していない。 本稿では,1段階一般化比(OSGR)を利用して各パラメータの損失低減への寄与を定量化し,勾配アライメントを評価する新しい最適化手法であるGENIEを提案する。 プレコンディショニング係数を介してOSGRを動的に等化することにより、GENIEはパラメータの小さなサブセットが最適化を支配するのを防ぎ、ドメイン不変の特徴学習を促進する。 理論的には、genIEはパラメータ間の収束コントリビューションと勾配アライメントのバランスをとり、SGDの収束率を維持しながらOSGRを高くする。 経験的には、既存のオプティマイザよりも優れており、様々なDGメソッドやシングルDGメソッドと統合された場合のパフォーマンスが向上する。

関連論文リスト

• Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization [13.021311628351423]
  ドメイン一般化(DG)は、目に見えないターゲットドメインによく一般化するモデルの開発を目指している。 DGにおける研究の1行は、一般化を強化するためにドメインレベルの勾配とヘッセンの整合性に焦点を当てている。 textbfClosed-Form textbfMoment textbfAlignment (CMA)を導入する。
  論文  参考訳（メタデータ） (2025-06-09T02:51:36Z)
• Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
  ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
  論文  参考訳（メタデータ） (2025-02-27T15:01:55Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。