論文の概要: Approximation Theory, Computing, and Deep Learning on the Wasserstein
Space
- arxiv url: http://arxiv.org/abs/2310.19548v2
- Date: Thu, 16 Nov 2023 17:57:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-18 01:07:52.210046
- Title: Approximation Theory, Computing, and Deep Learning on the Wasserstein
Space
- Title（参考訳）: ワッサーシュタイン空間における近似理論, 計算, 深層学習
- Authors: Massimo Fornasier and Pascal Heid and Giacomo Enrico Sodini
- Abstract要約: 有限標本から無限次元空間における近似関数の挑戦について検討する。
我々の特に焦点はワッサーシュタイン距離関数(英語版)(Wasserstein distance function)に集中しており、これは関連する例である。
数値的な実装では,ニューラルネットワークをベース関数として適切に設計し,基礎関数として機能する。
- 参考スコア（独自算出の注目度）: 0.6445605125467574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The challenge of approximating functions in infinite-dimensional spaces from
finite samples is widely regarded as formidable. In this study, we delve into
the challenging problem of the numerical approximation of Sobolev-smooth
functions defined on probability spaces. Our particular focus centers on the
Wasserstein distance function, which serves as a relevant example. In contrast
to the existing body of literature focused on approximating efficiently
pointwise evaluations, we chart a new course to define functional approximants
by adopting three machine learning-based approaches: 1. Solving a finite number
of optimal transport problems and computing the corresponding Wasserstein
potentials. 2. Employing empirical risk minimization with Tikhonov
regularization in Wasserstein Sobolev spaces. 3. Addressing the problem through
the saddle point formulation that characterizes the weak form of the Tikhonov
functional's Euler-Lagrange equation. As a theoretical contribution, we furnish
explicit and quantitative bounds on generalization errors for each of these
solutions. In the proofs, we leverage the theory of metric Sobolev spaces and
we combine it with techniques of optimal transport, variational calculus, and
large deviation bounds. In our numerical implementation, we harness
appropriately designed neural networks to serve as basis functions. These
networks undergo training using diverse methodologies. This approach allows us
to obtain approximating functions that can be rapidly evaluated after training.
Consequently, our constructive solutions significantly enhance at equal
accuracy the evaluation speed, surpassing that of state-of-the-art methods by
several orders of magnitude.
- Abstract（参考訳）: 有限標本からの無限次元空間における函数の近似の課題は、広く有意であると見なされている。
本研究では,確率空間上で定義されるソボレフ-滑らか関数の数値近似の難解問題を探索する。
我々の特に焦点は、関連する例となるワッサーシュタイン距離関数に焦点を当てている。
効率的なポイントワイズ評価に焦点をあてた既存の文献とは対照的に、我々は3つの機械学習に基づくアプローチを採用して機能近似を定義する新しいコースをグラフ化した。
1. 有限数の最適輸送問題の解法と対応するワッサーシュタインポテンシャルの計算。
2.wasserstein sobolev空間におけるtikhonov正規化による経験的リスク最小化
3. ティホノフ汎函数のオイラー・ラグランジュ方程式の弱形式を特徴づけるサドル点定式化による問題への対処。
理論的な貢献として,各解に対する一般化誤差に関する明示的かつ定量的な境界を与える。
証明では、計量ソボレフ空間の理論を利用し、最適な輸送法、変分計算法、大きな偏差境界法と組み合わせる。
数値実装では,ニューラルネットワークを基礎関数として適切に設計した。
これらのネットワークは多様な方法論を用いてトレーニングを行う。
このアプローチにより、トレーニング後に迅速に評価できる近似関数を得ることができる。
その結果, 構築的解は, 評価速度が同等の精度で著しく向上し, 最先端法を数桁上回った。
関連論文リスト
- Finite Operator Learning: Bridging Neural Operators and Numerical Methods for Efficient Parametric Solution and Optimization of PDEs [0.0]
本稿では,ニューラルネットワーク,物理情報処理機械学習,およびPDEを解くための標準的な数値法を組み合わせた手法を提案する。
データのない方法で偏微分方程式をパラメトリックに解き、正確な感度を与えることができる。
本研究では, 不均一材料中の定常熱方程式に着目した。
論文 参考訳（メタデータ） (2024-07-04T21:23:12Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Spectral operator learning for parametric PDEs without data reliance [6.7083321695379885]
本研究では,データ活用を必要とせずにパラメトリック偏微分方程式(PDE)を解く演算子に基づく新しい手法を提案する。
提案手法は,既存の科学的機械学習技術と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2023-10-03T12:37:15Z) - Efficient Graph Field Integrators Meet Point Clouds [59.27295475120132]
点雲を符号化するグラフ上での効率的な場積分のためのアルゴリズムを2種類提案する。
第1のクラスであるSeparatorFactorization(SF)は、ポイントメッシュグラフの有界属を利用するが、第2のクラスであるRFDiffusion(RFD)は、ポイントクラウドの一般的なepsilon-nearest-neighborグラフ表現を使用する。
論文 参考訳（メタデータ） (2023-02-02T08:33:36Z) - Mean-field neural networks: learning mappings on Wasserstein space [0.0]
確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。
ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。
本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-27T05:11:42Z) - DeepPhysics: a physics aware deep learning framework for real-time
simulation [0.0]
データ駆動手法を用いて超弾性材料をシミュレートする手法を提案する。
ニューラルネットワークは、境界条件と結果の変位場との間の非線形関係を学習するために訓練される。
その結果, 限られたデータ量でトレーニングしたネットワークアーキテクチャは, 1ミリ秒未満で変位場を予測できることがわかった。
論文 参考訳（メタデータ） (2021-09-17T12:15:47Z) - Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。
ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。
次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-02-05T04:25:28Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳（メタデータ） (2020-12-09T20:19:32Z) - Computational characteristics of feedforward neural networks for solving
a stiff differential equation [0.0]
減衰系をモデル化する単純だが基本的な常微分方程式の解について検討する。
パラメータやメソッドに対して好適な選択を特定できることを示す。
全体として、ニューラルネットワークアプローチによる信頼性と正確な結果を得るために何ができるかを示すことで、この分野の現在の文献を拡張します。
論文 参考訳（メタデータ） (2020-12-03T12:22:24Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。