論文の概要: Fast and Large-Scale Unbalanced Optimal Transport via its Semi-Dual and Adaptive Gradient Methods

• arxiv url: http://arxiv.org/abs/2602.10697v1
• Date: Wed, 11 Feb 2026 09:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.668345
• Title: Fast and Large-Scale Unbalanced Optimal Transport via its Semi-Dual and Adaptive Gradient Methods
• Title（参考訳）: 半二重・適応勾配法による高速・大規模不均衡最適輸送
• Authors: Ferdinand Genans,
• Abstract要約: エントロピーUOTの半二重定式化を解析し、適応勾配法に適合することを示す。 SGD法はこの局所曲率に適応し、$mathcalO(n/varepsilon T)$となる。 完全バッチ離散設定に対しては、勾配ステップサイズのみに依存する局所的滑らか度にほぼ密な上限を導出する。
• 参考スコア（独自算出の注目度）: 35.76482964927589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unbalanced Optimal Transport (UOT) has emerged as a robust relaxation of standard Optimal Transport, particularly effective for handling outliers and mass variations. However, scalable algorithms for UOT, specifically those based on Gradient Descent (SGD), remain largely underexplored. In this work, we address this gap by analyzing the semi-dual formulation of Entropic UOT and demonstrating its suitability for adaptive gradient methods. While the semi-dual is a standard tool for large-scale balanced OT, its geometry in the unbalanced setting appears ill-conditioned under standard analysis. Specifically, worst-case bounds on the marginal penalties using $χ^2$ divergence suggest a condition number scaling with $n/\varepsilon$, implying poor scalability. In contrast, we show that the local condition number actually scales as $\mathcal{O}(1/\varepsilon)$, effectively removing the ill-conditioned dependence on $n$. Exploiting this property, we prove that SGD methods adapt to this local curvature, achieving a convergence rate of $\mathcal{O}(n/\varepsilon T)$ in the stochastic and online regimes, making it suitable for large-scale and semi-discrete applications. Finally, for the full batch discrete setting, we derive a nearly tight upper bound on local smoothness depending solely on the gradient. Using it to adapt step sizes, we propose a modified Adaptive Nesterov Accelerated Gradient (ANAG) method on the semi-dual functional and prove that it achieves a local complexity of $\mathcal{O}(n^2\sqrt{1/\varepsilon}\ln(1/δ))$.
• Abstract（参考訳）: 不均衡最適輸送(Un Balanced Optimal Transport, UOT)は、標準最適輸送の堅牢な緩和として現れ、特に外れ値や質量変動を扱うのに有効である。 しかし、UOTのスケーラブルなアルゴリズム、特にGradient Descent (SGD) に基づくアルゴリズムは、まだほとんど探索されていない。 本研究では, エントロピック UOT の半二重定式化を解析し, 適応勾配法に適合性を示すことにより, このギャップに対処する。 半双対は大規模平衡OTの標準ツールであるが、非平衡状態の幾何学は標準解析の下では不調和であるように見える。 具体的には、$n/\varepsilon$でスケールする条件数として、$ ^2$の発散による限界刑罰の最悪のケース境界は、スケーラビリティの低下を示唆している。 対照的に、局所条件数は実際に$\mathcal{O}(1/\varepsilon)$としてスケールし、$n$に対する不条件依存を効果的に除去する。 この性質をエクスプロイトし、SGD法がこの局所曲率に適応し、確率的およびオンラインな状態において$\mathcal{O}(n/\varepsilon T)$の収束率を達成し、大規模および半離散的な応用に適していることを示す。 最後に、全バッチ離散設定に対して、勾配のみに依存する局所滑らか度にほぼ密な上界を導出する。 これをステップサイズに適応させることで、半双関数上の適応ネステロフ加速勾配(ANAG)法を提案し、それが$\mathcal{O}(n^2\sqrt{1/\varepsilon}\ln(1/δ))$の局所的な複雑性を実現することを証明した。

関連論文リスト

• Can SGD Handle Heavy-Tailed Noise? [6.111519084375339]
  Gradient Descent (SGD) は大規模最適化のための機械学習プロジェクトであるが、重尾雑音下での理論的挙動は理解されていない。 このような悪条件下でSGDが確実に成功できるかどうかを精査する。
  論文  参考訳（メタデータ） (2025-08-06T20:09:41Z)
• Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
  適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。 これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。 本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Semi-Discrete Optimal Transport: Nearly Minimax Estimation With Stochastic Gradient Descent and Adaptive Entropic Regularization [38.67914746910537]
  我々は,ラゲールセル推定と密度支持推定の類似性を用いて,OTマップに対して$mathcalO(t-1)$の低いバウンダリレートを証明した。 所望の速さをほぼ達成するために,サンプル数に応じて減少するエントロピー正規化スキームを設計する。
  論文  参考訳（メタデータ） (2024-05-23T11:46:03Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance [46.15915820243487]
  AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。 AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。
  論文  参考訳（メタデータ） (2022-02-11T17:37:54Z)
• A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
  分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。 本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。 総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-02-09T02:44:24Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。