論文の概要: ENOT: Expectile Regularization for Fast and Accurate Training of Neural
Optimal Transport
- arxiv url: http://arxiv.org/abs/2403.03777v1
- Date: Wed, 6 Mar 2024 15:15:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:48:17.109742
- Title: ENOT: Expectile Regularization for Fast and Accurate Training of Neural
Optimal Transport
- Title(参考訳): enot: 神経最適輸送の高速かつ正確な訓練のための期待正規化
- Authors: Nazar Buzun, Maksim Bobrin, Dmitry V. Dylov
- Abstract要約: ニューラル・オプティマル・トランスポート(NOT)トレーニングのための新しい拡張法を提案する。
共役ポテンシャルの特定規則化による最適な輸送計画の正確かつ効率的な推定が可能となる。
- 参考スコア(独自算出の注目度): 3.3983526244070044
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present a new extension for Neural Optimal Transport (NOT) training
procedure, capable of accurately and efficiently estimating optimal
transportation plan via specific regularisation on conjugate potentials. The
main bottleneck of existing NOT solvers is associated with the procedure of
finding a near-exact approximation of the conjugate operator (i.e., the
c-transform), which is done either by optimizing over maximin objectives or by
the computationally-intensive fine-tuning of the initial approximated
prediction. We resolve both issues by proposing a new, theoretically justified
loss in the form of expectile regularization that enforces binding conditions
on the learning dual potentials. Such a regularization provides the upper bound
estimation over the distribution of possible conjugate potentials and makes the
learning stable, eliminating the need for additional extensive finetuning. We
formally justify the efficiency of our method, called Expectile-Regularised
Neural Optimal Transport (ENOT). ENOT outperforms previous state-of-the-art
approaches on the Wasserstein-2 benchmark tasks by a large margin (up to a
3-fold improvement in quality and up to a 10-fold improvement in runtime).
- Abstract(参考訳): 共役電位の特定正規化による最適輸送計画の正確かつ効率的に推定が可能なニューラル最適輸送(NOT)訓練手順の新たな拡張を提案する。
既存の not ソルバの主なボトルネックは、共役作用素(すなわち c-変換)のほぼ実効近似を見つける手順に関係しており、これは最大目標を最適化するか、初期近似予測の計算集約的な微調整によって行われる。
両問題を、学習双対ポテンシャルの結合条件を強制する期待正規化という形で、理論上正当化された新たな損失を提案することによって解決する。
このような正規化は、可能な共役ポテンシャルの分布に関する上限推定を提供し、学習を安定させ、さらなる広範囲な微調整の必要性をなくす。
本手法の効率を正式に正当化し,期待レギュラライズドニューラル最適輸送(enot)と呼ぶ。
enotは、waserstein-2ベンチマークタスクにおける以前の最先端のアプローチを、大きなマージン(品質が3倍改善され、実行時の10倍改善まで)で上回っている。
関連論文リスト
- A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
推論と最適化は計算処理が可能であることを示す。
特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。
得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
論文 参考訳(メタデータ) (2024-04-26T14:47:40Z) - Automatic Outlier Rectification via Optimal Transport [7.421153752627664]
コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。
本研究では,従来の手法に対するアプローチの有効性と優位性を,広範囲なシミュレーションと経験的分析で実証する。
論文 参考訳(メタデータ) (2024-03-21T01:30:24Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Fast Computation of Optimal Transport via Entropy-Regularized
Extragradient Methods [98.85583323658366]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳(メタデータ) (2023-01-30T15:46:39Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳(メタデータ) (2022-11-14T08:51:04Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。
学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。
提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-11-11T23:31:34Z) - Genetic optimization of quantum annealing [0.0]
本稿では,量子アニールの性能向上のための遺伝的アルゴリズムに基づく数値計算手法を提案する。
また,実際に実現可能な$k$ローカル最適運転演算子を演算することで,アベイティティへのショートカットを探索する。
論文 参考訳(メタデータ) (2021-08-06T15:59:23Z) - An Efficient Batch Constrained Bayesian Optimization Approach for Analog
Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。
提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。
制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
論文 参考訳(メタデータ) (2021-06-28T13:21:28Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods
to Deep Binary Model [34.093978443640616]
最近のBNN(Binary Neural Networks)の性能は大幅に低下している。
BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。
そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
論文 参考訳(メタデータ) (2020-09-29T06:12:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。