論文の概要: Manifold Random Features
- arxiv url: http://arxiv.org/abs/2602.03797v1
- Date: Tue, 03 Feb 2026 18:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.624588
- Title: Manifold Random Features
- Title(参考訳): Manifold Random Features
- Authors: Ananya Parashar, Derek Long, Dwaipayan Saha, Krzysztof Choromanski,
- Abstract要約: 一般多様体上のカーネルを近似するマニフォールドランダム特徴量(MRF)を作成する。
MRFは多様体の離散化と最近導入されたグラフランダム特徴(GRF)の手法を利用する
離散グラフオブジェクト上に定義されたGRFと、通常のカーネルで使用される連続乱数特徴の深い関係を示す。
- 参考スコア(独自算出の注目度): 4.067075813886517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new paradigm for creating random features to approximate bi-variate functions (in particular, kernels) defined on general manifolds. This new mechanism of Manifold Random Features (MRFs) leverages discretization of the manifold and the recently introduced technique of Graph Random Features (GRFs) to learn continuous fields on manifolds. Those fields are used to find continuous approximation mechanisms that otherwise, in general scenarios, cannot be derived analytically. MRFs provide positive and bounded features, a key property for accurate, low-variance approximation. We show deep asymptotic connection between GRFs, defined on discrete graph objects, and continuous random features used for regular kernels. As a by-product of our method, we re-discover recently introduced mechanism of Gaussian kernel approximation applied in particular to improve linear-attention Transformers, considering simple random walks on graphs and by-passing original complex mathematical computations. We complement our algorithm with a rigorous theoretical analysis and verify in thorough experimental studies.
- Abstract(参考訳): 一般多様体上で定義された二変量関数(特にカーネル)を近似するランダムな特徴を作成するための新しいパラダイムを提案する。
この新しいマニフォールドランダム特徴(MRF)のメカニズムは、多様体の離散化と最近導入されたグラフランダム特徴(GRF)の技法を利用して、多様体上の連続場を学習する。
これらの場は、一般には解析的に導出できない連続近似機構を見つけるために用いられる。
MRFは正および有界な特徴を提供し、これは正確で低分散近似の鍵となる性質である。
本稿では、離散グラフオブジェクト上に定義されたGRFと、通常のカーネルで使用される連続乱数特徴との間の深い漸近接続を示す。
提案手法の副産物として,グラフ上の単純なランダムウォークと元の複素数計算のバイパスを考慮し,特に線形アテンション変換を改善するために応用されたガウスカーネル近似の機構を再発見する。
我々は厳密な理論解析でアルゴリズムを補完し、徹底的な実験研究で検証する。
関連論文リスト
- Deep Gaussian Processes for Functional Maps [15.327037938888154]
関数・オン・ファンクショナル・レグレッション(Function-on-function regression)とも呼ばれる関数空間間の学習は、関数データ解析において重要な役割を果たす。
既存のアプローチでは、複雑な非線形性を捉えることができず、ノイズやスパース、不規則にサンプリングされたデータの下で信頼性の高い不確実性を欠いている。
これらの問題に対処するために,DGPFM(Deep Gaussian Processes for Functional Maps)を提案する。
本手法は, GPからサンプリングしたカーネル, GP, 非線形アクティベーションの積分変換を利用して, GPに基づく線形および非線形変換の系列を設計する。
論文 参考訳(メタデータ) (2025-10-24T23:05:48Z) - Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。
ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳(メタデータ) (2024-05-26T12:25:09Z) - Quasi-Monte Carlo Graph Random Features [38.762964164013226]
グラフランダム特徴量(GRF)の精度向上のための新しいメカニズムを提案する。
提案手法は, アルゴリズムのランダムウォークの長さ間の負の相関を, アンチセティック終端を付与することによって引き起こす。
これらの準モンテカルロ GRF の性質に関する強い理論的保証を得る。
論文 参考訳(メタデータ) (2023-05-21T14:12:02Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳(メタデータ) (2023-01-31T18:53:39Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文 参考訳(メタデータ) (2021-10-08T20:22:59Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。