論文の概要: A Gradient Flow Perspective on Minimum MMD Estimation

• arxiv url: http://arxiv.org/abs/2607.03871v1
• Date: Sat, 04 Jul 2026 13:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.741494
• Title: A Gradient Flow Perspective on Minimum MMD Estimation
• Title（参考訳）: 最小MDD推定におけるグラディエントフローの展望
• Abstract要約: 本稿では, 厳密な勾配支配と投射残差条件の下で, 最大音節収束性を確立するための事前条件付き勾配降下法を提案する。 PGD法は, パラメータ推定や複合仮説テスト問題において, 標準勾配勾配よりも優れていることを示す実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 12.557411169956437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimum maximum mean discrepancy (MMD) estimation has emerged as a robust and likelihood-free alternative to maximum likelihood estimation for parameter estimation. Yet, despite its practical success, the associated optimization problem remains poorly understood, with theoretical guarantees for existing algorithms hinging on convexity assumptions that rarely hold in practice. We address this gap by proposing a preconditioned gradient descent (PGD) scheme, establishing its asymptotic \emph{global} convergence under explicit gradient-dominance and projection-residual conditions. Our approach is inspired by recent progress on MMD gradient flows, a nonparametric descent scheme on the space of probability measures. We provide extensive empirical evidence that our PGD scheme outperforms standard gradient descent across a range of challenging parameter estimation and composite hypothesis testing problems.
• Abstract（参考訳）: 最小平均誤差推定(MMD)は,パラメータ推定のための最大誤差推定に代わる,頑健で可能性のない代替手段として登場した。 しかし、実際的な成功にもかかわらず、関連する最適化問題は十分に理解されておらず、既存のアルゴリズムが実際にはほとんど持たない凸性仮定に依存しているという理論的な保証がある。 このギャップに対処するために、プレコンディション付き勾配降下(PGD)スキームを提案し、その漸近的な 'emph{global} 収束を明示的な勾配支配と射影残留条件下で確立する。 我々のアプローチは、確率測度空間上の非パラメトリック降下スキームであるMDD勾配流の最近の進歩に着想を得たものである。 PGD法は, パラメータ推定や複合仮説検定問題において, 標準勾配勾配よりも高い性能を示すことを示す。

関連論文リスト

• The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
  min-max最適化は、現代の機械学習に応用されているため、注目を集めている。 我々は、勾配降下(SGDA)の包括的理論を提供する。 我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
  論文  参考訳（メタデータ） (2026-09-05T12:49:28Z)
• Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
  勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
  論文  参考訳（メタデータ） (2026-05-25T16:18:39Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing [1.6114012813668932]
  微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。 我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。 我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
  論文  参考訳（メタデータ） (2024-02-19T00:43:22Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting [0.6445605125467574]
  我々は運動量勾配降下スキーム(MSGD)の収束率の有界性を証明する。 摩擦の最適選択を解析し、MSGDプロセスがほぼ確実に局所に収束することを示す。
  論文  参考訳（メタデータ） (2023-02-07T15:59:08Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Stochastic Learning for Sparse Discrete Markov Random Fields with Controlled Gradient Approximation Error [10.381976180143328]
  離散マルコフ確率場(MRF)に対する$L_$正規化極大推定器(MLE)問題について検討する。 これらの課題に対処するために、近位勾配(SPG)と呼ばれる検証可能な学習フレームワークを検討する。 勾配近似の品質を検査し、制御するための新しい検証可能な境界を提供する。
  論文  参考訳（メタデータ） (2020-05-12T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。