論文の概要: Approximation Theory, Computing, and Deep Learning on the Wasserstein Space

• arxiv url: http://arxiv.org/abs/2310.19548v4
• Date: Thu, 10 Oct 2024 13:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:27:37.897429
• Title: Approximation Theory, Computing, and Deep Learning on the Wasserstein Space
• Title（参考訳）: ワッサーシュタイン空間における近似理論, 計算, 深層学習
• Authors: Massimo Fornasier, Pascal Heid, Giacomo Enrico Sodini,
• Abstract要約: 有限標本からの無限次元空間における近似関数の挑戦に対処する。 我々の焦点はワッサーシュタイン距離関数であり、これは関連する例である。 機能近似を定義するために,機械学習に基づく3つのアプローチを採用する。
• 参考スコア（独自算出の注目度）: 0.5735035463793009
• License:
• Abstract: The challenge of approximating functions in infinite-dimensional spaces from finite samples is widely regarded as formidable. We delve into the challenging problem of the numerical approximation of Sobolev-smooth functions defined on probability spaces. Our particular focus centers on the Wasserstein distance function, which serves as a relevant example. In contrast to the existing body of literature focused on approximating efficiently pointwise evaluations, we chart a new course to define functional approximants by adopting three machine learning-based approaches: 1. Solving a finite number of optimal transport problems and computing the corresponding Wasserstein potentials. 2. Employing empirical risk minimization with Tikhonov regularization in Wasserstein Sobolev spaces. 3. Addressing the problem through the saddle point formulation that characterizes the weak form of the Tikhonov functional's Euler-Lagrange equation. We furnish explicit and quantitative bounds on generalization errors for each of these solutions. We leverage the theory of metric Sobolev spaces and we combine it with techniques of optimal transport, variational calculus, and large deviation bounds. In our numerical implementation, we harness appropriately designed neural networks to serve as basis functions. These networks undergo training using diverse methodologies. This approach allows us to obtain approximating functions that can be rapidly evaluated after training. Our constructive solutions significantly enhance at equal accuracy the evaluation speed, surpassing that of state-of-the-art methods by several orders of magnitude. This allows evaluations over large datasets several times faster, including training, than traditional optimal transport algorithms. Our analytically designed deep learning architecture slightly outperforms the test error of state-of-the-art CNN architectures on datasets of images.
• Abstract（参考訳）: 有限標本からの無限次元空間における函数の近似の課題は、広く有意であると見なされている。 確率空間上で定義されるソボレフ-滑らか関数の数値近似の難解問題を探索する。 我々の特に焦点はワッサーシュタイン距離関数(英語版)(Wasserstein distance function)に集中しており、これは関連する例である。 効率的なポイントワイズ評価に焦点をあてた既存の文献とは対照的に、我々は3つの機械学習に基づくアプローチを採用することにより、機能的近似を定義する新しいコースをグラフ化した。 1. 有限数の最適輸送問題の解法と対応するワッサーシュタインポテンシャルの計算。 2. ワッサーシュタイン・ソボレフ空間におけるTikhonov正則化による経験的リスク最小化の利用 3. ティホノフ汎函数のオイラー・ラグランジュ方程式の弱形式を特徴づけるサドル点定式化による問題への対処。 これらの解のそれぞれに対して、一般化誤差の明示的かつ定量的な境界を課す。 計量ソボレフ空間の理論を活用し、最適な輸送法、変分計算法、および大きな偏差境界の技法と組み合わせる。 数値的な実装では,ニューラルネットワークをベース関数として適切に設計し,基礎関数として機能する。 これらのネットワークは様々な手法を用いて訓練を行っている。 このアプローチにより、トレーニング後に迅速に評価できる近似関数を得ることができる。 建設的解法は評価速度を等精度で向上させ, 数桁の精度で最先端の手法を超越した。 これにより、従来の最適なトランスポートアルゴリズムよりも、トレーニングを含む大規模なデータセットに対する評価が、数倍高速になる。 我々の分析設計したディープラーニングアーキテクチャは、画像のデータセット上で最先端のCNNアーキテクチャのテストエラーをわずかに上回っている。

関連論文リスト

• Finite Operator Learning: Bridging Neural Operators and Numerical Methods for Efficient Parametric Solution and Optimization of PDEs [0.0]
  本稿では,ニューラルネットワーク,物理情報処理機械学習,およびPDEを解くための標準的な数値法を組み合わせた手法を提案する。 データのない方法で偏微分方程式をパラメトリックに解き、正確な感度を与えることができる。 本研究では, 不均一材料中の定常熱方程式に着目した。
  論文  参考訳（メタデータ） (2024-07-04T21:23:12Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Spectral operator learning for parametric PDEs without data reliance [6.7083321695379885]
  本研究では,データ活用を必要とせずにパラメトリック偏微分方程式(PDE)を解く演算子に基づく新しい手法を提案する。 提案手法は,既存の科学的機械学習技術と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-03T12:37:15Z)
• Efficient Graph Field Integrators Meet Point Clouds [59.27295475120132]
  点雲を符号化するグラフ上での効率的な場積分のためのアルゴリズムを2種類提案する。 第1のクラスであるSeparatorFactorization(SF)は、ポイントメッシュグラフの有界属を利用するが、第2のクラスであるRFDiffusion(RFD)は、ポイントクラウドの一般的なepsilon-nearest-neighborグラフ表現を使用する。
  論文  参考訳（メタデータ） (2023-02-02T08:33:36Z)
• Mean-field neural networks: learning mappings on Wasserstein space [0.0]
  確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。 ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。 本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-27T05:11:42Z)
• DeepPhysics: a physics aware deep learning framework for real-time simulation [0.0]
  データ駆動手法を用いて超弾性材料をシミュレートする手法を提案する。 ニューラルネットワークは、境界条件と結果の変位場との間の非線形関係を学習するために訓練される。 その結果, 限られたデータ量でトレーニングしたネットワークアーキテクチャは, 1ミリ秒未満で変位場を予測できることがわかった。
  論文  参考訳（メタデータ） (2021-09-17T12:15:47Z)
• Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
  高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。 ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。 次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-02-05T04:25:28Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Computational characteristics of feedforward neural networks for solving a stiff differential equation [0.0]
  減衰系をモデル化する単純だが基本的な常微分方程式の解について検討する。 パラメータやメソッドに対して好適な選択を特定できることを示す。 全体として、ニューラルネットワークアプローチによる信頼性と正確な結果を得るために何ができるかを示すことで、この分野の現在の文献を拡張します。
  論文  参考訳（メタデータ） (2020-12-03T12:22:24Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。