論文の概要: Deep Kuratowski Embedding Neural Networks for Wasserstein Metric Learning
- arxiv url: http://arxiv.org/abs/2604.04343v1
- Date: Mon, 06 Apr 2026 01:35:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.055056
- Title: Deep Kuratowski Embedding Neural Networks for Wasserstein Metric Learning
- Title(参考訳): Wasserstein Metric Learningのためのニューラルネットワークを組み込んだDeep Kuratowski
- Authors: Andrew Qing He,
- Abstract要約: データからワッサーシュタイン2の距離を近似する学習のための2つのニューラルネットワークアーキテクチャを提案する。
最初のDeepKENNは、学習可能なウェイトを使って、CNNのすべての中間特徴マップにまたがる距離を集約する。
2番目のODE-KENNは離散層スタックを暗黙のODEに置き換え、各入力を無限次元バナッハ空間に埋め込む。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computing pairwise Wasserstein distances is a fundamental bottleneck in data analysis pipelines. Motivated by the classical Kuratowski embedding theorem, we propose two neural architectures for learning to approximate the Wasserstein-2 distance ($W_2$) from data. The first, DeepKENN, aggregates distances across all intermediate feature maps of a CNN using learnable positive weights. The second, ODE-KENN, replaces the discrete layer stack with a Neural ODE, embedding each input into the infinite-dimensional Banach space $C^1([0,1], \mathbb{R}^d)$ and providing implicit regularization via trajectory smoothness. Experiments on MNIST with exact precomputed $W_2$ distances show that ODE-KENN achieves a 28% lower test MSE than the single-layer baseline and 18% lower than DeepKENN under matched parameter counts, while exhibiting a smaller generalization gap. The resulting fast surrogate can replace the expensive $W_2$ oracle in downstream pairwise distance computations.
- Abstract(参考訳): ペアワイズワッサースタイン距離の計算は、データ分析パイプラインの基本的なボトルネックである。
古典的なクラトフスキ埋め込み定理に動機付けられ、データからワッサーシュタイン-2距離(W_2$)を近似する学習のための2つのニューラルネットワークを提案する。
最初のDeepKENNは、学習可能な正の重みを使って、CNNのすべての中間特徴写像にまたがる距離を集約する。
2つめのODE-KENNは離散層スタックをニューラル ODE に置き換え、各入力を無限次元バナッハ空間 $C^1([0,1], \mathbb{R}^d)$ に埋め込み、軌道の滑らかさを通して暗黙の正規化を提供する。
正確にプリ計算された$W_2$距離を持つMNISTの実験では、ODE-KENNは1層ベースラインよりも28%低いMSEと、一致したパラメータ数の下でのDeepKENNより18%低いMSEを実現し、より小さな一般化ギャップを示した。
結果として生じる高速サロゲートは、下流のペア距離計算で高価な$W_2$oracleを置き換えることができる。
関連論文リスト
- Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit [66.20349460098275]
一般ガウス多次元モデル $f(boldsymbolx)=g(boldsymbolUboldsymbolx)$ の勾配降下学習を隠蔽部分空間 $boldsymbolUin mathbbRrtimes d$ で研究する。
リンク関数上の一般的な非退化仮定の下では、層次勾配勾配勾配によって訓練された標準的な2層ニューラルネットワークは、$o_d(1)$テスト誤差でターゲットを不可知的に学習できることを示す。
論文 参考訳(メタデータ) (2025-11-19T04:46:47Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2024-01-18T11:32:50Z) - Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳(メタデータ) (2023-09-25T07:31:22Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳(メタデータ) (2023-02-18T05:06:15Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳(メタデータ) (2022-06-26T06:51:31Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳(メタデータ) (2021-06-04T17:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。