論文の概要: Approximation Theory, Computing, and Deep Learning on the Wasserstein
Space
- arxiv url: http://arxiv.org/abs/2310.19548v2
- Date: Thu, 16 Nov 2023 17:57:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-18 01:07:52.210046
- Title: Approximation Theory, Computing, and Deep Learning on the Wasserstein
Space
- Title(参考訳): ワッサーシュタイン空間における近似理論, 計算, 深層学習
- Authors: Massimo Fornasier and Pascal Heid and Giacomo Enrico Sodini
- Abstract要約: 有限標本から無限次元空間における近似関数の挑戦について検討する。
我々の特に焦点はワッサーシュタイン距離関数(英語版)(Wasserstein distance function)に集中しており、これは関連する例である。
数値的な実装では,ニューラルネットワークをベース関数として適切に設計し,基礎関数として機能する。
- 参考スコア(独自算出の注目度): 0.6445605125467574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The challenge of approximating functions in infinite-dimensional spaces from
finite samples is widely regarded as formidable. In this study, we delve into
the challenging problem of the numerical approximation of Sobolev-smooth
functions defined on probability spaces. Our particular focus centers on the
Wasserstein distance function, which serves as a relevant example. In contrast
to the existing body of literature focused on approximating efficiently
pointwise evaluations, we chart a new course to define functional approximants
by adopting three machine learning-based approaches: 1. Solving a finite number
of optimal transport problems and computing the corresponding Wasserstein
potentials. 2. Employing empirical risk minimization with Tikhonov
regularization in Wasserstein Sobolev spaces. 3. Addressing the problem through
the saddle point formulation that characterizes the weak form of the Tikhonov
functional's Euler-Lagrange equation. As a theoretical contribution, we furnish
explicit and quantitative bounds on generalization errors for each of these
solutions. In the proofs, we leverage the theory of metric Sobolev spaces and
we combine it with techniques of optimal transport, variational calculus, and
large deviation bounds. In our numerical implementation, we harness
appropriately designed neural networks to serve as basis functions. These
networks undergo training using diverse methodologies. This approach allows us
to obtain approximating functions that can be rapidly evaluated after training.
Consequently, our constructive solutions significantly enhance at equal
accuracy the evaluation speed, surpassing that of state-of-the-art methods by
several orders of magnitude.
- Abstract(参考訳): 有限標本からの無限次元空間における函数の近似の課題は、広く有意であると見なされている。
本研究では,確率空間上で定義されるソボレフ-滑らか関数の数値近似の難解問題を探索する。
我々の特に焦点は、関連する例となるワッサーシュタイン距離関数に焦点を当てている。
効率的なポイントワイズ評価に焦点をあてた既存の文献とは対照的に、我々は3つの機械学習に基づくアプローチを採用して機能近似を定義する新しいコースをグラフ化した。
1. 有限数の最適輸送問題の解法と対応するワッサーシュタインポテンシャルの計算。
2.wasserstein sobolev空間におけるtikhonov正規化による経験的リスク最小化
3. ティホノフ汎函数のオイラー・ラグランジュ方程式の弱形式を特徴づけるサドル点定式化による問題への対処。
理論的な貢献として,各解に対する一般化誤差に関する明示的かつ定量的な境界を与える。
証明では、計量ソボレフ空間の理論を利用し、最適な輸送法、変分計算法、大きな偏差境界法と組み合わせる。
数値実装では,ニューラルネットワークを基礎関数として適切に設計した。
これらのネットワークは多様な方法論を用いてトレーニングを行う。
このアプローチにより、トレーニング後に迅速に評価できる近似関数を得ることができる。
その結果, 構築的解は, 評価速度が同等の精度で著しく向上し, 最先端法を数桁上回った。
関連論文リスト
- Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - Spectral operator learning for parametric PDEs without data reliance [6.7083321695379885]
本研究では,データ活用を必要とせずにパラメトリック偏微分方程式(PDE)を解く演算子に基づく新しい手法を提案する。
提案手法は,既存の科学的機械学習技術と比較して優れた性能を示す。
論文 参考訳(メタデータ) (2023-10-03T12:37:15Z) - Learning from Integral Losses in Physics Informed Neural Networks [2.810395925934944]
本研究では,部分積分微分方程式の下での物理情報ネットワークのトレーニング問題に対する解を提案する。
これらの積分を偏りのない推定値に置き換えることで、偏りのある損失関数や解が導かれることを示す。
また,提案手法が提案されたことにより,多数のサンプルから推定した値に匹敵する精度で精度の高い解が得られることを示す。
論文 参考訳(メタデータ) (2023-05-27T06:46:08Z) - Neural Gromov-Wasserstein Optimal Transport [82.05269165407427]
本稿では,Gromov-Wasserstein (GW) Optimal Transport (OT) 問題を内部積コストで解くためのスケーラブルなニューラルネットワーク手法を提案する。
提案手法では,ニューラルネットワークとミニバッチ最適化を用いて,既存の手法の限界を克服する。
論文 参考訳(メタデータ) (2023-03-10T15:21:12Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳(メタデータ) (2023-03-01T10:38:10Z) - Mean-field neural networks: learning mappings on Wasserstein space [0.0]
確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。
ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。
本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-27T05:11:42Z) - Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。
提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文 参考訳(メタデータ) (2021-06-12T03:55:15Z) - Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。
ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。
次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-02-05T04:25:28Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳(メタデータ) (2020-12-09T20:19:32Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。