論文の概要: PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport

• arxiv url: http://arxiv.org/abs/2502.03749v1
• Date: Thu, 06 Feb 2025 03:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:22.194091
• Title: PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
• Title（参考訳）: PINS:Sparse Newton と Sinkhorn による最適輸送のための近位反復
• Authors: Di Wu, Ling Liang, Haizhao Yang,
• Abstract要約: 本稿では,Sparse Newton法とSinkhorn法を用いて,大規模OT問題の高精度解を効率的に計算する手法を提案する。 全体空間と大域収束による計算複雑性の低減は厳密な理論解析によって保証される。 提案手法は,正確解に匹敵する精度を達成し,各イテレーションを段階的に高速化し,正規化パラメータに対する感度を低減し,ロバスト性を向上する。
• 参考スコア（独自算出の注目度）: 12.551419304993209
• License:
• Abstract: Optimal transport (OT) is a critical problem in optimization and machine learning, where accuracy and efficiency are paramount. Although entropic regularization and the Sinkhorn algorithm improve scalability, they frequently encounter numerical instability and slow convergence, especially when the regularization parameter is small. In this work, we introduce Proximal Iterations with Sparse Newton and Sinkhorn methods (PINS) to efficiently compute highly accurate solutions for large-scale OT problems. A reduced computational complexity through overall sparsity and global convergence are guaranteed by rigorous theoretical analysis. Our approach offers three key advantages: it achieves accuracy comparable to exact solutions, progressively accelerates each iteration for greater efficiency, and enhances robustness by reducing sensitivity to regularization parameters. Extensive experiments confirm these advantages, demonstrating superior performance compared to related methods.
• Abstract（参考訳）: 最適輸送(OT)は、精度と効率が最重要である最適化と機械学習において重要な問題である。 エントロピック正規化とシンクホーンアルゴリズムはスケーラビリティを向上させるが、特に正規化パラメータが小さい場合、数値不安定性と緩やかな収束にしばしば遭遇する。 本研究では,Sparse Newton 法と Sinkhorn 法を併用した Proximal Iterations を導入し,大規模OT 問題に対する高精度な解を効率的に計算する。 全体空間と大域収束による計算複雑性の低減は厳密な理論解析によって保証される。 提案手法は,正確解に匹敵する精度を達成し,各イテレーションを段階的に高速化し,正規化パラメータに対する感度を低減し,ロバスト性を向上する。 大規模な実験はこれらの利点を確認し、関連する手法と比較して優れた性能を示す。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• An inexact Bregman proximal point method and its acceleration version for unbalanced optimal transport [16.12354882333828]
  不均衡最適輸送(UOT)問題は、計算生物学、計算イメージング、ディープラーニングにおいてますます重要な役割を担っている。 スケーリングアルゴリズムは、その利便性と優れた収束特性のために、UTTを解くために広く用いられている。 UOTを解くための不正確なBregman近点法を開発することで、この問題に対処する。
  論文  参考訳（メタデータ） (2024-02-26T19:25:21Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Efficient Optimal Transport Algorithm by Accelerated Gradient descent [20.614477547939845]
  本稿では,ネステロフの平滑化手法に基づく効率と精度をさらに向上させる新しいアルゴリズムを提案する。 提案手法は,同じパラメータでより高速な収束と精度を実現する。
  論文  参考訳（メタデータ） (2021-04-12T20:23:29Z)
• Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization [0.27074235008521236]
  我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。 この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。 固定精度アプローチと比較して頑健さと効率性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T00:59:51Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Approximate Dynamics Lead to More Optimal Control: Efficient Exact Derivatives [0.0]
  ここでは、この精度要件を満たすための計算可能性は、伝播スキームと問題表現の選択に依存することを示す。 この手法は、非常に高次元の力学を数値的に効率的に最適化することを可能にする。
  論文  参考訳（メタデータ） (2020-05-20T10:02:19Z)
• Scalable Hyperparameter Optimization with Lazy Gaussian Processes [1.3999481573773074]
  本稿では,ガウス過程の高精度な新しい近似法を提案する。 最初の実験では、単一ノードにおける162の係数の高速化と、並列環境における5の係数のさらなる高速化が示されている。
  論文  参考訳（メタデータ） (2020-01-16T10:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。