論文の概要: Stochastic Gradients under Nuisances

• arxiv url: http://arxiv.org/abs/2508.20326v1
• Date: Thu, 28 Aug 2025 00:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.869565
• Title: Stochastic Gradients under Nuisances
• Title（参考訳）: 医療現場における確率的勾配
• Authors: Facheng Yu, Ronak Mehta, Alex Luedtke, Zaid Harchaoui,
• Abstract要約: 目的が未知のパラメータに依存する問題に対する勾配アルゴリズムを考察する。 この結果から, ニュアンスの存在は最適値を変化させ, 軌道を乱すことができるが, 古典的勾配アルゴリズムは適切な条件下で収束する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 6.258101584466416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient optimization is the dominant learning paradigm for a variety of scenarios, from classical supervised learning to modern self-supervised learning. We consider stochastic gradient algorithms for learning problems whose objectives rely on unknown nuisance parameters, and establish non-asymptotic convergence guarantees. Our results show that, while the presence of a nuisance can alter the optimum and upset the optimization trajectory, the classical stochastic gradient algorithm may still converge under appropriate conditions, such as Neyman orthogonality. Moreover, even when Neyman orthogonality is not satisfied, we show that an algorithm variant with approximately orthogonalized updates (with an approximately orthogonalized gradient oracle) may achieve similar convergence rates. Examples from orthogonal statistical learning/double machine learning and causal inference are discussed.
• Abstract（参考訳）: 確率勾配最適化は、古典的な教師付き学習から近代的な自己教師付き学習まで、様々なシナリオにおいて支配的な学習パラダイムである。 目的が未知のニュアンスパラメータに依存する問題に対する確率勾配アルゴリズムを考察し,非漸近収束保証を確立する。 この結果から, ニュアンスの存在は最適値を変化させ, 最適化軌道を乱す可能性があるが, 古典確率勾配アルゴリズムは, ナイマン直交のような適切な条件下で収束する可能性が示唆された。 さらに、ネイマンの直交性が満たされていない場合でも、ほぼ直交的な更新(ほぼ直交的な勾配オラクルを含む)を持つアルゴリズムの変種が、同様の収束率を達成できることが示される。 直交統計学習/二重機械学習と因果推論の例を論じる。

関連論文リスト

• Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques [17.34603953600226]
  適応勾配(AdaGrad)は、ディープラーニングの強力なツールとして登場した。 AdaGradを包括的に分析し、文献の既存のギャップを埋める。
  論文  参考訳（メタデータ） (2024-09-08T08:29:51Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
  機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。 本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
  論文  参考訳（メタデータ） (2024-07-05T08:53:06Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。