論文の概要: ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport

• arxiv url: http://arxiv.org/abs/2403.03777v3
• Date: Wed, 3 Jul 2024 10:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:54:15.967309
• Title: ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport
• Title（参考訳）: ENOT:ニューラル・オプティカル・トランスポートの高速かつ高精度トレーニングのための予備正則化
• Authors: Nazar Buzun, Maksim Bobrin, Dmitry V. Dylov,
• Abstract要約: 最適な輸送計画の正確かつ効率的に推定する新しい手法を提案する。 expectile Regularized Neural Transport Optimal (ENOT) と呼ばれる。 ENOTは二重ポテンシャルの学習過程に結合条件を強制する。
• 参考スコア（独自算出の注目度）: 3.0237149871998095
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a new approach for Neural Optimal Transport (NOT) training procedure, capable of accurately and efficiently estimating optimal transportation plan via specific regularization on dual Kantorovich potentials. The main bottleneck of existing NOT solvers is associated with the procedure of finding a near-exact approximation of the conjugate operator (i.e., the c-transform), which is done either by optimizing over non-convex max-min objectives or by the computationally intensive fine-tuning of the initial approximated prediction. We resolve both issues by proposing a new, theoretically justified loss in the form of expectile regularisation which enforces binding conditions on the learning process of dual potentials. Such a regularization provides the upper bound estimation over the distribution of possible conjugate potentials and makes the learning stable, completely eliminating the need for additional extensive fine-tuning. Proposed method, called Expectile-Regularised Neural Optimal Transport (ENOT), outperforms previous state-of-the-art approaches on the established Wasserstein-2 benchmark tasks by a large margin (up to a 3-fold improvement in quality and up to a 10-fold improvement in runtime). Moreover, we showcase performance of ENOT for varying cost functions on different tasks such as image generation, showing robustness of proposed algorithm. OTT-JAX library includes our implementation of ENOT algorithm https://ott-jax.readthedocs.io/en/latest/tutorials/ENOT.html
• Abstract（参考訳）: 本稿では,2つのカントロビッチポテンシャルの特定正規化による最適輸送計画の正確かつ効率的に推定が可能なニューラル最適輸送(NOT)訓練手法を提案する。 既存のNOTソルバの主なボトルネックは、共役作用素(すなわちc-変換)の近似を、非凸最大値の目的を最適化するか、あるいは初期近似予測を計算的に集中的に微調整することによって行う手順に関連付けられている。 両問題を、二重ポテンシャルの学習過程における結合条件を強制する期待正規化という形で、理論上正当化された新たな損失を提案することによって解決する。 このような正規化は、可能な共役ポテンシャルの分布に関する上限推定を提供し、学習を安定にし、追加の広範囲な微調整の必要性を完全に排除する。 expectedile-Regularized Neural Optimal Transport (ENOT)と呼ばれる提案された手法は、確立されたWasserstein-2ベンチマークタスクにおける従来の最先端のアプローチを、大きなマージン(最大3倍の品質改善と最大10倍のランタイム改善)で上回っている。 さらに、画像生成などの様々なタスクにおけるコスト関数の変動に対するENOTの性能を示すとともに、提案アルゴリズムの堅牢性を示す。 OTT-JAXライブラリにはENOTアルゴリズム https://ott-jax.readthedocs.io/en/latest/tutorials/ENOTの実装が含まれています。

関連論文リスト

• OptEx: Expediting First-Order Optimization with Approximately Parallelized Iterations [13.86961756840635]
  ほぼ並列化されたイテレーション (OptEx) で高速化された一階最適化を導入する。 OptExは、並列コンピューティングを活用して、その反復的ボトルネックを軽減することで、FOOの効率を高める最初のフレームワークである。 我々は、カーネル化された勾配推定の信頼性とSGDベースのOpsExの複雑さを理論的に保証する。
  論文  参考訳（メタデータ） (2024-02-18T02:19:02Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
  MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。 提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。 制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
  論文  参考訳（メタデータ） (2021-06-28T13:21:28Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
  本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。 本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。 また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
  論文  参考訳（メタデータ） (2020-08-27T09:15:02Z)
• Learning Cost Functions for Optimal Transport [44.64193016158591]
  逆最適輸送(英: Inverse optimal transport, OT)とは、観測された輸送計画またはそのサンプルから、OTのコスト関数を学習する問題を指す。 逆OT問題の制約のない凸最適化式を導出し、任意のカスタマイズ可能な正規化によりさらに拡張することができる。
  論文  参考訳（メタデータ） (2020-02-22T07:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。