論文の概要: Spectral Algorithms on Manifolds through Diffusion
- arxiv url: http://arxiv.org/abs/2403.03669v2
- Date: Thu, 7 Mar 2024 09:20:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:29:38.980824
- Title: Spectral Algorithms on Manifolds through Diffusion
- Title(参考訳): 拡散による多様体上のスペクトルアルゴリズム
- Authors: Weichun Xia and Lei Shi
- Abstract要約: 再生カーネル空間におけるスペクトルアルゴリズムの収束性能について検討する。
一般化ノルムに関する厳密な収束上限を導出するために積分作用素技術を用いる。
本研究は,高次元近似のより広い文脈において,スペクトルアルゴリズムが実質的に重要であることを確認した。
- 参考スコア(独自算出の注目度): 1.7227952883644062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing research on spectral algorithms, applied within a Reproducing
Kernel Hilbert Space (RKHS), has primarily focused on general kernel functions,
often neglecting the inherent structure of the input feature space. Our paper
introduces a new perspective, asserting that input data are situated within a
low-dimensional manifold embedded in a higher-dimensional Euclidean space. We
study the convergence performance of spectral algorithms in the RKHSs,
specifically those generated by the heat kernels, known as diffusion spaces.
Incorporating the manifold structure of the input, we employ integral operator
techniques to derive tight convergence upper bounds concerning generalized
norms, which indicates that the estimators converge to the target function in
strong sense, entailing the simultaneous convergence of the function itself and
its derivatives. These bounds offer two significant advantages: firstly, they
are exclusively contingent on the intrinsic dimension of the input manifolds,
thereby providing a more focused analysis. Secondly, they enable the efficient
derivation of convergence rates for derivatives of any k-th order, all of which
can be accomplished within the ambit of the same spectral algorithms.
Furthermore, we establish minimax lower bounds to demonstrate the asymptotic
optimality of these conclusions in specific contexts. Our study confirms that
the spectral algorithms are practically significant in the broader context of
high-dimensional approximation.
- Abstract(参考訳): 再現カーネルヒルベルト空間(RKHS)に適用されるスペクトルアルゴリズムの研究は、主に一般的なカーネル関数に焦点を合わせており、しばしば入力特徴空間の固有の構造を無視している。
本稿では, 入力データが高次元ユークリッド空間に埋め込まれた低次元多様体内に存在することを主張する新しい視点を紹介する。
rkhssにおけるスペクトルアルゴリズムの収束性能、特に拡散空間として知られる熱核によって生成される収束性能について検討する。
入力の多様体構造を組み入れ、一般化ノルムに関する厳密な収束上限を導出する積分作用素技術を用いて、推定子は強い意味で対象関数に収束し、関数自身とその微分の収束を伴うことを示す。
これらの境界は二つの大きな利点をもたらす: まず、それらは入力多様体の内在次元にのみ従属し、より焦点を絞った解析を提供する。
第二に、これらは任意のk次導関数の収束率の効率的な導出を可能にするが、それらはすべて同じスペクトルアルゴリズムのアンビット内で達成できる。
さらに,これらの結論の漸近的最適性を示すために,ミニマックス下限を定式化する。
本研究は,高次元近似のより広い文脈において,スペクトルアルゴリズムが実質的に重要であることを確認する。
関連論文リスト
- Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳(メタデータ) (2023-06-21T17:03:22Z) - The Galerkin method beats Graph-Based Approaches for Spectral Algorithms [3.5897534810405403]
我々は機械学習コミュニティを破り、Galerkin手法の統計的および計算的優位性を証明した。
構造化カーネルを用いて大次元の微分演算子を扱うための実装手法を導入する。
私たちは、ディープニューラルネットワークによってパラメータ化された関数など、関数の非線形空間に適用するために、私たちのアプローチ以外のコア原則を拡張します。
論文 参考訳(メタデータ) (2023-06-01T14:38:54Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳(メタデータ) (2023-03-01T10:38:10Z) - Neural Set Function Extensions: Learning with Discrete Functions in High
Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。
我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。
我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文 参考訳(メタデータ) (2022-08-08T10:58:02Z) - Structural aspects of FRG in quantum tunnelling computations [68.8204255655161]
一次元の4次元高調波発振器とダブルウェルポテンシャルの両方を探索する。
ポテンシャルV_k(varphi)と波動関数再正規化Z_k(varphi)の2つの偏微分方程式について検討した。
論文 参考訳(メタデータ) (2022-06-14T15:23:25Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning
Perspective [0.8594140167290097]
マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。
我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。
我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
論文 参考訳(メタデータ) (2021-12-18T10:01:34Z) - Spectrum Gaussian Processes Based On Tunable Basis Functions [15.088239458693003]
ガウス過程におけるカーネル関数を近似するために, チューナブル, 局所, 有界な新しい基底関数を導入する。
オープンソースデータセットに関する広範な実験を行い、その性能を実証する。
論文 参考訳(メタデータ) (2021-07-14T03:51:24Z) - Kernel Interpolation of High Dimensional Scattered Data [22.857190042428922]
高次元問題から選択されたデータサイトは、非父性的な方法で散在することが多い。
本稿では,基礎となるカーネル行列のスペクトルによる有界近似誤差を特徴とする,高次元データのカーネルを解析するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-03T08:34:00Z) - Intrinsic Gaussian Processes on Manifolds and Their Accelerations by
Symmetry [9.773237080061815]
既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。
本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。
本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
論文 参考訳(メタデータ) (2020-06-25T09:17:40Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。