論文の概要: Learning Costs for Structured Monge Displacements
- arxiv url: http://arxiv.org/abs/2306.11895v1
- Date: Tue, 20 Jun 2023 21:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 15:47:31.419854
- Title: Learning Costs for Structured Monge Displacements
- Title(参考訳): 構造的モンジュ変位の学習コスト
- Authors: Michal Klein, Aram-Alexandre Pooladian, Pierre Ablin, Eug\`ene Ndiaye,
Jonathan Niles-Weed, Marco Cuturi
- Abstract要約: 最適輸送理論は、サンプルから密度の間のプッシュフォワードマップを推測するいくつかのツールを機械学習に提供した。
既存のアプローチは、地上コストとして単純な2乗ユークリッド距離でそのような写像を推定するというデフォルトの選択肢から外れることは滅多にない。
そこで本稿では, 直交勾配勾配下降を基礎として, 構造的コストを考慮し, 地中真理輸送を生成する手法を提案する。
- 参考スコア(独自算出の注目度): 36.07140689022009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimal transport theory has provided machine learning with several tools to
infer a push-forward map between densities from samples. While this theory has
recently seen tremendous methodological developments in machine learning, its
practical implementation remains notoriously difficult, because it is plagued
by both computational and statistical challenges. Because of such difficulties,
existing approaches rarely depart from the default choice of estimating such
maps with the simple squared-Euclidean distance as the ground cost,
$c(x,y)=\|x-y\|^2_2$. We follow a different path in this work, with the
motivation of \emph{learning} a suitable cost structure to encourage maps to
transport points along engineered features. We extend the recently proposed
Monge-Bregman-Occam pipeline~\citep{cuturi2023monge}, that rests on an
alternative cost formulation that is also cost-invariant $c(x,y)=h(x-y)$, but
which adopts a more general form as $h=\tfrac12 \ell_2^2+\tau$, where $\tau$ is
an appropriately chosen regularizer. We first propose a method that builds upon
proximal gradient descent to generate ground truth transports for such
structured costs, using the notion of $h$-transforms and $h$-concave
potentials. We show more generally that such a method can be extended to
compute $h$-transforms for entropic potentials. We study a regularizer that
promotes transport displacements in low-dimensional spaces, and propose to
learn such a basis change using Riemannian gradient descent on the Stiefel
manifold. We show that these changes lead to estimators that are more robust
and easier to interpret.
- Abstract(参考訳): 最適輸送理論は、サンプルから密度の間のプッシュフォワードマップを推測するいくつかのツールを機械学習に提供した。
この理論は最近、機械学習の方法論的発展が見られるが、その実践的実装は、計算と統計の両方の課題に悩まされているため、非常に難しい。
このような困難のため、既存のアプローチでは、単純な二乗-ユークリッド距離を地上コストとして推定するデフォルトの選択肢である$c(x,y)=\|x-y\|^2_2$ から外れることは滅多にない。
この作業では,設計された特徴に沿ったトランスポートポイントにマップを奨励する適切なコスト構造として,‘emph{learning}’というモチベーションを伴って,異なる経路をたどる。
我々は最近提案されたMonge-Bregman-Occam Pipeline~\citep{cuturi2023monge} を拡張し、コスト不変の $c(x,y)=h(x-y)$ という別のコスト定式化にもとづくが、より一般的な形式を $h=\tfrac 12 \ell_2^2+\tau$ とする。
まず,このような構造的コストに対する基底真理輸送を生成するために,近似勾配降下に基づく手法を提案し,その概念は$h$-transforms と $h$-concave potentials である。
より一般に、そのような手法はエントロピーポテンシャルの$h$-transformsを計算するために拡張可能であることを示す。
低次元空間における移動変位を促進する正則化子について検討し、スティフェル多様体上のリーマン勾配降下を用いてその基底変化を学ぶことを提案する。
これらの変化は、より堅牢で容易に解釈できる推定器につながることを示す。
関連論文リスト
- Adapting Newton's Method to Neural Networks through a Summary of
Higher-Order Derivatives [0.0]
関数 $boldsymboltheta$ に適用した勾配に基づく最適化法を考える。
このフレームワークは、勾配降下によるニューラルネットワークのトレーニングなど、多くの一般的なユースケースを含んでいる。
論文 参考訳(メタデータ) (2023-12-06T20:24:05Z) - Normalizing flows as approximations of optimal transport maps via
linear-control neural ODEs [55.2480439325792]
ニューマライズフロー」は、深層ニューラルネットワークを用いて確率測度間の可逆輸送マップを構築するタスクに関連している。
我々は、絶対連続測度$mu,nuinmathcalP(mathbbRn)$間の$W$最適輸送マップ$T$を線形制御ニューラルネットワークのフローとして回収する問題を考える。
論文 参考訳(メタデータ) (2023-11-02T17:17:03Z) - The Monge Gap: A Regularizer to Learn All Transport Maps [34.81915836064636]
ブレニエの定理は、地価が二乗ユークリッド距離であるとき、$mathcalP(Rd)$で連続測度を変形させるベストの写像は凸函数の勾配でなければならないというものである。
数学的優雅さにもかかわらず、ICNNにOTマップを組み込むことは多くの課題を提起する。
我々は、OTマップを推定するアプローチを根本的に異なるアプローチで提案する。
論文 参考訳(メタデータ) (2023-02-09T21:56:11Z) - Monge, Bregman and Occam: Interpretable Optimal Transport in
High-Dimensions with Feature-Sparse Maps [37.45959537338404]
我々は、$tau$ のスパース性誘導ノルムを選択すると、Occam のカミソリを輸送に応用する写像が得られることを示した。
本稿では,高次元単細胞転写データに対して有意なマップを推定する手法について紹介する。
論文 参考訳(メタデータ) (2023-02-08T14:02:34Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳(メタデータ) (2023-02-03T03:19:14Z) - Optimal transport map estimation in general function spaces [17.323588442718926]
本稿では, 分布$P$とプッシュフォワード分布$T_sharp P$から, 与えられた独立サンプルの関数$T$を推定する問題について検討する。
この設定は、時間とともに物理的システムの進化を表す$T$という科学の応用によって動機付けられている。
一般関数空間における最適輸送写像の推定率を求める統一手法を提案する。
論文 参考訳(メタデータ) (2022-12-07T15:42:11Z) - Manifold Free Riemannian Optimization [4.484251538832438]
滑らかな多様体 $mathcalM$ を用いて最適化問題を解くための原理的枠組みを提案する。
代数学M におけるコスト関数 $(x_i, y_i) の雑音のないサンプル集合 mathbbR$ と多様体 $mathcalM$ の固有次元を用いる。
論文 参考訳(メタデータ) (2022-09-07T16:19:06Z) - Neural Optimal Transport with General Cost Functionals [70.37918531697142]
一般費用関数の最適輸送計画を計算するニューラルネットワークに基づく新しいアルゴリズムを提案する。
アプリケーションとして,クラス単位の構造を保ちながら,データ分布をマップするコスト関数を構築した。
論文 参考訳(メタデータ) (2022-05-30T20:00:19Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳(メタデータ) (2022-05-23T17:59:18Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳(メタデータ) (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。