論文の概要: PGrad: Learning Principal Gradients For Domain Generalization

• arxiv url: http://arxiv.org/abs/2305.01134v1
• Date: Tue, 2 May 2023 00:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 15:52:06.021883
• Title: PGrad: Learning Principal Gradients For Domain Generalization
• Title（参考訳）: pgrad: ドメイン一般化のための主勾配の学習
• Authors: Zhe Wang, Jake Grigsby, Yanjun Qi
• Abstract要約: 我々はPGradと呼ばれる新しいDGトレーニング戦略を開発し、頑健な勾配の方向を学習し、目に見えない領域におけるモデルの一般化能力を向上させる。 PGradの勾配設計では、DGトレーニングはドメインに依存したノイズ信号を無視し、全てのトレーニングドメインを堅牢な方向で更新する。 PGradは7つのデータセットにまたがる競合的な結果を達成する。
• 参考スコア（独自算出の注目度）: 14.134043376245165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models fail to perform when facing out-of-distribution (OOD) domains, a challenging task known as domain generalization (DG). In this work, we develop a novel DG training strategy, we call PGrad, to learn a robust gradient direction, improving models' generalization ability on unseen domains. The proposed gradient aggregates the principal directions of a sampled roll-out optimization trajectory that measures the training dynamics across all training domains. PGrad's gradient design forces the DG training to ignore domain-dependent noise signals and updates all training domains with a robust direction covering main components of parameter dynamics. We further improve PGrad via bijection-based computational refinement and directional plus length-based calibrations. Our theoretical proof connects PGrad to the spectral analysis of Hessian in training neural networks. Experiments on DomainBed and WILDS benchmarks demonstrate that our approach effectively enables robust DG optimization and leads to smoothly decreased loss curves. Empirically, PGrad achieves competitive results across seven datasets, demonstrating its efficacy across both synthetic and real-world distributional shifts. Code is available at https://github.com/QData/PGrad.
• Abstract（参考訳）: 機械学習モデルは、ドメイン一般化(DG)として知られる困難なタスクであるOODドメインに直面すると、実行に失敗する。 本研究では,pgradと呼ばれる新しいdgトレーニング戦略を開発し,ロバストな勾配方向を学習し,未認識領域におけるモデルの一般化能力を向上させる。 提案する勾配は、すべてのトレーニング領域におけるトレーニングダイナミクスを測定するサンプルロールアウト最適化軌道の主方向を集約する。 PGradの勾配設計では、DGトレーニングはドメイン依存のノイズ信号を無視し、パラメータダイナミクスの主要コンポーネントをカバーする堅牢な方向で全てのトレーニングドメインを更新する。 ビジェクションベースの計算精度向上と方向+長さベースキャリブレーションによりPGradをさらに改善する。 我々の理論的証明は、ニューラルネットワークのトレーニングにおいて、PGradとHessianのスペクトル解析を結びつける。 DomainBed および WILDS ベンチマークの実験により、我々の手法はロバストな DG 最適化を効果的に実現し、損失曲線を円滑に減少させることを示した。 実証的な結果として、PGradは7つのデータセットにまたがる競合的な結果を達成する。 コードはhttps://github.com/QData/PGrad.comで入手できる。

関連論文リスト

• Return Augmented Decision Transformer for Off-Dynamics Reinforcement Learning [26.915055027485465]
  限られたデータを持つ対象領域におけるポリシー学習を強化するために,オフラインオフダイナミックス強化学習(RL)について検討する。 我々のアプローチは、リターン条件付き教師あり学習(RCSL)、特に決定変換器(DT)に焦点を当てている。 本研究では、ソース領域のリターンをターゲット領域のリターンと整列させて拡張するリターンAugmented Decision Transformer (RADT) 法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T20:46:26Z)
• Shape Guided Gradient Voting for Domain Generalization [20.593708375868893]
  領域一般化のための形状誘導勾配投票法(SGGV)を提案する。 まず,ネットワークの余分な入力によって先行した形状を導入し,勾配を形状バイアス方向に下方へ誘導する。 第2に、ロバストな最適化のために、外れ値を取り除くための新しい勾配投票戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-19T09:54:37Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Adaptive Trajectory Prediction via Transferable GNN [74.09424229172781]
  本稿では,トランジタブルグラフニューラルネットワーク(Transferable Graph Neural Network, T-GNN)フレームワークを提案する。 具体的には、ドメイン固有知識が減少する構造運動知識を探索するために、ドメイン不変GNNを提案する。 さらに,注目に基づく適応的知識学習モジュールを提案し,知識伝達のための詳細な個別レベルの特徴表現について検討した。
  論文  参考訳（メタデータ） (2022-03-09T21:08:47Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization [25.367775241988618]
  ドメインの一般化は、一般化可能なモデルを目に見えない領域に学習することを目的とした、難しい移行学習問題である。 最近のCLIPやGPT-3のような大規模事前学習モデルは、多くの分散シフトに対して堅牢であることが示されている。 本稿では,ドメイン推論の新しい手法としてAP(Amortized Prompt)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T00:25:54Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。