論文の概要: Learning Costs for Structured Monge Displacements

• arxiv url: http://arxiv.org/abs/2306.11895v1
• Date: Tue, 20 Jun 2023 21:17:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 15:47:31.419854
• Title: Learning Costs for Structured Monge Displacements
• Title（参考訳）: 構造的モンジュ変位の学習コスト
• Authors: Michal Klein, Aram-Alexandre Pooladian, Pierre Ablin, Eug\`ene Ndiaye, Jonathan Niles-Weed, Marco Cuturi
• Abstract要約: 最適輸送理論は、サンプルから密度の間のプッシュフォワードマップを推測するいくつかのツールを機械学習に提供した。 既存のアプローチは、地上コストとして単純な2乗ユークリッド距離でそのような写像を推定するというデフォルトの選択肢から外れることは滅多にない。 そこで本稿では, 直交勾配勾配下降を基礎として, 構造的コストを考慮し, 地中真理輸送を生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 36.07140689022009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimal transport theory has provided machine learning with several tools to infer a push-forward map between densities from samples. While this theory has recently seen tremendous methodological developments in machine learning, its practical implementation remains notoriously difficult, because it is plagued by both computational and statistical challenges. Because of such difficulties, existing approaches rarely depart from the default choice of estimating such maps with the simple squared-Euclidean distance as the ground cost, $c(x,y)=\|x-y\|^2_2$. We follow a different path in this work, with the motivation of \emph{learning} a suitable cost structure to encourage maps to transport points along engineered features. We extend the recently proposed Monge-Bregman-Occam pipeline~\citep{cuturi2023monge}, that rests on an alternative cost formulation that is also cost-invariant $c(x,y)=h(x-y)$, but which adopts a more general form as $h=\tfrac12 \ell_2^2+\tau$, where $\tau$ is an appropriately chosen regularizer. We first propose a method that builds upon proximal gradient descent to generate ground truth transports for such structured costs, using the notion of $h$-transforms and $h$-concave potentials. We show more generally that such a method can be extended to compute $h$-transforms for entropic potentials. We study a regularizer that promotes transport displacements in low-dimensional spaces, and propose to learn such a basis change using Riemannian gradient descent on the Stiefel manifold. We show that these changes lead to estimators that are more robust and easier to interpret.
• Abstract（参考訳）: 最適輸送理論は、サンプルから密度の間のプッシュフォワードマップを推測するいくつかのツールを機械学習に提供した。 この理論は最近、機械学習の方法論的発展が見られるが、その実践的実装は、計算と統計の両方の課題に悩まされているため、非常に難しい。 このような困難のため、既存のアプローチでは、単純な二乗-ユークリッド距離を地上コストとして推定するデフォルトの選択肢である$c(x,y)=\|x-y\|^2_2$ から外れることは滅多にない。 この作業では,設計された特徴に沿ったトランスポートポイントにマップを奨励する適切なコスト構造として,‘emph{learning}’というモチベーションを伴って,異なる経路をたどる。 我々は最近提案されたMonge-Bregman-Occam Pipeline~\citep{cuturi2023monge} を拡張し、コスト不変の $c(x,y)=h(x-y)$ という別のコスト定式化にもとづくが、より一般的な形式を $h=\tfrac 12 \ell_2^2+\tau$ とする。 まず,このような構造的コストに対する基底真理輸送を生成するために,近似勾配降下に基づく手法を提案し,その概念は$h$-transforms と $h$-concave potentials である。 より一般に、そのような手法はエントロピーポテンシャルの$h$-transformsを計算するために拡張可能であることを示す。 低次元空間における移動変位を促進する正則化子について検討し、スティフェル多様体上のリーマン勾配降下を用いてその基底変化を学ぶことを提案する。 これらの変化は、より堅牢で容易に解釈できる推定器につながることを示す。

関連論文リスト

• Learning a Single Neuron Robustly to Distributional Shifts and Adversarial Label Noise [38.551072383777594]
  本研究では, 対向分布シフトの存在下でのL2$損失に対して, 単一ニューロンを学習する問題について検討した。 ベクトルベクトル二乗損失を$chi2$divergenceから$mathcalp_0$に近似するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-11T03:43:52Z)
• Locality Regularized Reconstruction: Structured Sparsity and Delaunay Triangulations [7.148312060227714]
  線形表現学習は、その概念的単純さと、圧縮、分類、特徴抽出といったタスクにおける経験的有用性から、広く研究されている。 本研究では、正則化最小二乗回帰問題を解くことにより、$mathbfy$の局所再構成を形成する$mathbfw$を求める。 すべてのレベルの正則化と、$mathbfX$ の列が独自のデラウネー三角形を持つという穏やかな条件の下では、最適係数の非零成分の数は$d+1$ で上界となることを証明している。
  論文  参考訳（メタデータ） (2024-05-01T19:56:52Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Families of costs with zero and nonnegative MTW tensor in optimal transport [0.0]
  我々は、$mathsfc$のコスト関数を持つ$mathbbRn$上の最適輸送問題に対するMTWテンソルを明示的に計算する。 我々は$sinh$-typeの双曲的コストを分析し、$mathsfc$-type関数と発散の例を提供する。
  論文  参考訳（メタデータ） (2024-01-01T20:33:27Z)
• Optimal Estimator for Linear Regression with Shuffled Labels [17.99906229036223]
  本稿では,シャッフルラベルを用いた線形回帰の課題について考察する。 mathbb Rntimes m の $mathbf Y、mathbb Rntimes p の mathbf Pi、mathbb Rptimes m$ の mathbf B、mathbb Rntimes m$ の $mathbf Win mathbb Rntimes m$ である。
  論文  参考訳（メタデータ） (2023-10-02T16:44:47Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Threshold Phenomena in Learning Halfspaces with Massart Noise [56.01192577666607]
  ガウス境界の下でのマスアートノイズ付きmathbbRd$におけるPAC学習ハーフスペースの問題について検討する。 この結果は,Massartモデルにおける学習ハーフスペースの複雑さを定性的に特徴づけるものである。
  論文  参考訳（メタデータ） (2021-08-19T16:16:48Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。