論文の概要: Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference

• arxiv url: http://arxiv.org/abs/2310.16975v1
• Date: Wed, 25 Oct 2023 20:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-27 23:37:26.101450
• Title: Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference
• Title（参考訳）: ベイズ推論を用いた条件付き最適輸送のための効率的なニューラルネットワーク手法
• Authors: Zheyu Oliver Wang, Ricardo Baptista, Youssef Marzouk, Lars Ruthotto, Deepanshu Verma
• Abstract要約: 静的および動的条件付き最適輸送(COT)問題の解を近似する2つのニューラルネットワーク手法を提案する。 提案手法は,対象条件分布をトラクタブルな参照分布の変換として表現する。 PCP-Mapは、部分的に入力された凸ニューラルネットワーク(PICNN)の勾配として条件付きトランスポートマップをモデル化し、計算効率を向上させるために新しい数値実装を使用する。 COT-Flowは、正規化されたニューラルODEの流れを介して条件付き輸送をモデル化する。
• 参考スコア（独自算出の注目度）: 1.866895151196396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present two neural network approaches that approximate the solutions of static and dynamic conditional optimal transport (COT) problems, respectively. Both approaches enable sampling and density estimation of conditional probability distributions, which are core tasks in Bayesian inference. Our methods represent the target conditional distributions as transformations of a tractable reference distribution and, therefore, fall into the framework of measure transport. COT maps are a canonical choice within this framework, with desirable properties such as uniqueness and monotonicity. However, the associated COT problems are computationally challenging, even in moderate dimensions. To improve the scalability, our numerical algorithms leverage neural networks to parameterize COT maps. Our methods exploit the structure of the static and dynamic formulations of the COT problem. PCP-Map models conditional transport maps as the gradient of a partially input convex neural network (PICNN) and uses a novel numerical implementation to increase computational efficiency compared to state-of-the-art alternatives. COT-Flow models conditional transports via the flow of a regularized neural ODE; it is slower to train but offers faster sampling. We demonstrate their effectiveness and efficiency by comparing them with state-of-the-art approaches using benchmark datasets and Bayesian inverse problems.
• Abstract（参考訳）: 本稿では,静的および動的条件付き最適輸送(cot)問題の解を近似する2つのニューラルネットワークアプローチを提案する。 どちらの手法もベイズ推論のコアタスクである条件付き確率分布のサンプリングと密度推定を可能にする。 本手法は,対象条件分布を移動可能な参照分布の変換として表現し,それゆえ測度移動の枠組みに陥る。 COT写像はこの枠組みの中で標準的選択であり、一意性や単調性といった望ましい性質を持つ。 しかし、関連するCOT問題は、適度な次元であっても計算的に困難である。 スケーラビリティを向上させるために,ニューラルネットワークを用いてCOTマップのパラメータ化を行う。 本手法はCOT問題の静的および動的定式化の構造を利用する。 PCP-Mapは、部分的に入力された凸ニューラルネットワーク(PICNN)の勾配として条件付きトランスポートマップをモデル化し、新しい数値的実装を用いて、最先端の代替よりも計算効率を向上させる。 COT-Flowは、正規化されたニューラルODEの流れを介して条件付き輸送をモデル化する。 ベンチマークデータセットとベイズ逆問題を用いて,最先端のアプローチと比較することにより,その効果と効率を実証する。

関連論文リスト

• Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems [2.3721580767877257]
  提案手法は,非強弱畳み込みミニマックス問題の解法である。 本稿では,提案アルゴリズムが$mathcalを達成することを示す。 スティロン 2階ノルムは上向きであることが証明されている。 tk 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ 400ドルだ $k
  論文  参考訳（メタデータ） (2024-11-24T09:46:36Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Matching the Statistical Query Lower Bound for $k$-Sparse Parity Problems with Sign Stochastic Gradient Descent [83.85536329832722]
  我々は、2層完全連結ニューラルネットワーク上での符号勾配降下(SGD)による$k$スパースパリティ問題を解く。 このアプローチは、$d$次元ハイパーキューブ上での$k$スパースパリティ問題を効率的に解くことができることを示す。 次に、符号SGDを持つトレーニングニューラルネットワークが、この優れたネットワークを効果的に近似し、小さな統計的誤差で$k$-parity問題を解く方法を示す。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Towards Faster k-Nearest-Neighbor Machine Translation [51.866464707284635]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。 本手法は,翻訳品質をわずかに低下させることなく,kNN検索のオーバーヘッドを最大53%削減する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Generative modeling of time-dependent densities via optimal transport and projection pursuit [3.069335774032178]
  本稿では,時間的モデリングのための一般的なディープラーニングアルゴリズムの代替として,安価に提案する。 我々の手法は最先端の解法と比較して非常に競争力がある。
  論文  参考訳（メタデータ） (2023-04-19T13:50:13Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Extremal Domain Translation with Neural Optimal Transport [76.38747967445994]
  一対のドメイン間の理論的に最良の未ペア翻訳の形式化である極端輸送(ET)を提案する。 近年のニューラル・オプティカル・トランスポート(OT)の進歩に触発されて,部分的なOTマップの限界としてETマップを近似するスケーラブルなアルゴリズムを提案する。 提案アルゴリズムは,おもちゃの例や未完成画像から画像への翻訳タスクで検証する。
  論文  参考訳（メタデータ） (2023-01-30T13:28:23Z)
• Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
  本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。 提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。 大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
  論文  参考訳（メタデータ） (2022-11-02T14:35:13Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• The First Optimal Algorithm for Smooth and Strongly-Convex-Strongly-Concave Minimax Optimization [88.91190483500932]
  本稿では,スムーズで強靭なミニマックス最適化問題を再考する。 既存の最先端メソッドは、下限の$Omegaleft(sqrtkappa_xkappa_ylog3 (kappa_xkappa_y)logfrac1epsilonright)$にマッチしない。 我々は、$mathcalOleft( sqrtkappa_xkappa_ylog)で最初のアルゴリズムを提供することで、この根本的な問題を解決する。
  論文  参考訳（メタデータ） (2022-05-11T17:33:07Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Escape saddle points by a simple gradient-descent based algorithm [6.7298812735467095]
  非最適化において、サドルポイントのエスケープは中心的な研究トピックである。 滑らかな関数 $fcolonmathbbRntomathbbR$ に対して、$epsilonO(log n)2/epsilon4)$ を出力する。 技術的に、我々の主な貢献は勾配のみを用いたロバストなヘッセンパワー手法の実装である。
  論文  参考訳（メタデータ） (2021-11-28T07:32:54Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Low-Rank Hankel Tensor Completion for Traffic Speed Estimation [7.346671461427793]
  交通状態推定問題に対する純粋にデータ駆動型かつモデルフリーなソリューションを提案する。 このテンソル構造に低ランクな仮定を課すことで、大域的パターンと未知の複素局所力学の両方を近似することができる。 本研究では,合成シミュレーションデータと実世界の高分解能データの両方について数値実験を行い,提案モデルの有効性と優位性を実証した。
  論文  参考訳（メタデータ） (2021-05-21T00:08:06Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Zero-Pair Image to Image Translation using Domain Conditional Normalization [138.7878582237908]
  ゼロペア画像-画像変換のためのドメイン条件正規化(DCN)に基づくアプローチを提案する。 本研究では,エンコーダ・デコーダ構造を持つ単一ジェネレータを用いて,領域条件正規化の異なる実装を解析し,所望の領域出力を得る。
  論文  参考訳（メタデータ） (2020-11-11T10:20:47Z)
• Fast Differentiable Clipping-Aware Normalization and Rescaling [22.320256458354137]
  最適再スケーリングは高速かつ微分可能なアルゴリズムを用いて解析的に見つけることができることを示す。 我々のアルゴリズムは任意のp-ノルムに対して有効であり、摂動に正規化された入力でニューラルネットワークを訓練するのに使うことができる。
  論文  参考訳（メタデータ） (2020-07-15T13:43:22Z)
• A Study of Performance of Optimal Transport [16.847501106437534]
  本稿では,ネットワークの単純化と拡張パスに基づくアルゴリズムが,数値行列スケーリング法より一貫して優れていることを示す。 古典的なKuhn-Munkresアルゴリズムを改良した新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-03T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。