論文の概要: Surrogate to Poincaré inequalities on manifolds for dimension reduction in nonlinear feature spaces

• arxiv url: http://arxiv.org/abs/2505.01807v2
• Date: Fri, 23 May 2025 08:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.976936
• Title: Surrogate to Poincaré inequalities on manifolds for dimension reduction in nonlinear feature spaces
• Title（参考訳）: 非線形特徴空間における次元還元のための多様体上のポアンカレの不等式への代理
• Authors: Anthony Nouy, Alexandre Pasco,
• Abstract要約: 連続微分可能な関数 $u:mathbbRd rightarrow mathbbRm$ を $g:mathbbRd rightarrow mathbbRm$, $mleq d$, $f : mathbbRm rightarrow mathbbRR$ という関数の合成によって近似することを目指している。 固定された$g$に対して、評価を含む古典回帰法を用いて$f$を構築する。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We aim to approximate a continuously differentiable function $u:\mathbb{R}^d \rightarrow \mathbb{R}$ by a composition of functions $f\circ g$ where $g:\mathbb{R}^d \rightarrow \mathbb{R}^m$, $m\leq d$, and $f : \mathbb{R}^m \rightarrow \mathbb{R}$ are built in a two stage procedure. For a fixed $g$, we build $f$ using classical regression methods, involving evaluations of $u$. Recent works proposed to build a nonlinear $g$ by minimizing a loss function $\mathcal{J}(g)$ derived from Poincar\'e inequalities on manifolds, involving evaluations of the gradient of $u$. A problem is that minimizing $\mathcal{J}$ may be a challenging task. Hence in this work, we introduce new convex surrogates to $\mathcal{J}$. Leveraging concentration inequalities, we provide sub-optimality results for a class of functions $g$, including polynomials, and a wide class of input probability measures. We investigate performances on different benchmarks for various training sample sizes. We show that our approach outperforms standard iterative methods for minimizing the training Poincar\'e inequality based loss, often resulting in better approximation errors, especially for rather small training sets and $m=1$.
• Abstract（参考訳）: 連続微分可能関数 $u:\mathbb{R}^d \rightarrow \mathbb{R}$ を $g:\mathbb{R}^d \rightarrow \mathbb{R}^m$, $m\leq d$ と $f : \mathbb{R}^m \rightarrow \mathbb{R}$ の合成によって近似することを目指している。 固定された$g$に対して、$u$の評価を含む古典的な回帰メソッドを使って$f$を構築する。 最近の研究は、損失関数 $\mathcal{J}(g)$ を多様体上のポアンカーの不等式から導いたもので、$u$ の勾配の評価を含む非線形 $g$ を構築することを提案した。 問題は$\mathcal{J}$を最小化することは難しい作業である。 したがって、この研究では、新しい凸 surrogates を $\mathcal{J}$ に導入する。 濃度不等式を利用すると、多項式を含む関数のクラス$g$と幅広い入力確率測度に対する準最適結果が得られる。 各種トレーニングサンプルサイズに対する各種ベンチマークの性能について検討した。 提案手法は,Poincar\eの不等式に基づく損失を最小化するための標準的な反復法よりも優れており,特に比較的小さなトレーニングセットと$m=1$の場合,近似誤差が良くなる。

関連論文リスト

• Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
  我々は、$rho$が$mtext-d$集合の近くに集中しているとき、これをノイズのあるデータを持つ多様体学習問題と解釈できることを示した。 Monge-Kantorovich $p$-cost $mathbbW_pp(rho, nu)$を介して$rho$を近似する際の$nu$のパフォーマンスを定量化し、$mathrmsupp nu$を$f : mathbbRmでカバーできるようにすることで複雑さを制限します。
  論文  参考訳（メタデータ） (2024-09-25T01:30:16Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Geometric structure of shallow neural networks and constructive ${\mathcal L}^2$ cost minimization [1.189367612437469]
  隠れた1つの層を持つ浅層ニューラルネットワーク、ReLUアクティベーション関数、$mathcal L2$ Schattenクラス(Hilbert-Schmidt)のコスト関数を考える。 我々は、$O(delta_P)$のコスト関数の最小値に対して、$delta_P$の信号とトレーニング入力のノイズ比を測る上限を証明した。 特別の場合、$M=Q$ において、コスト関数の正確な退化局所極小を明示的に決定し、そのシャープ値が a の$Qleq M$ に対して得られる上限値と異なることを示す。
  論文  参考訳（メタデータ） (2023-09-19T07:12:41Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation [9.10876982856809]
  我々は,更新を概ね計算できる最小化の交互化フレームワークを開発した。 我々のフレームワークの核心は、反復最小化の堅牢な解析とともに、高精度な多重応答回帰解法である。
  論文  参考訳（メタデータ） (2023-06-07T05:38:55Z)
• Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix Factorization [54.29685789885059]
  本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。 目標は、低ランク因子の積として$mathbfA$を近似することである。 我々の手法はBMF問題の他の一般的な変種に一般化する。
  論文  参考訳（メタデータ） (2023-06-02T18:55:27Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
  本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。 解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。 我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
  論文  参考訳（メタデータ） (2020-08-17T22:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。