論文の概要: Residual Deep Gaussian Processes on Manifolds
- arxiv url: http://arxiv.org/abs/2411.00161v1
- Date: Thu, 31 Oct 2024 19:09:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:44:20.031703
- Title: Residual Deep Gaussian Processes on Manifolds
- Title（参考訳）: 多様体上の残留深いガウス過程
- Authors: Kacper Wyrwal, Andreas Krause, Viacheslav Borovitskiy,
- Abstract要約: 多様体から多様体への隠れ層と任意の最終層をモデル化する方法を示す。
我々のモデルは、非多様体データの推論を高速化する可能性があり、いつ、いつ、そして、それがプロキシ多様体に十分にマッピングできるかを示す。
- 参考スコア（独自算出の注目度）: 40.20536208199638
- License:
- Abstract: We propose practical deep Gaussian process models on Riemannian manifolds, similar in spirit to residual neural networks. With manifold-to-manifold hidden layers and an arbitrary last layer, they can model manifold- and scalar-valued functions, as well as vector fields. We target data inherently supported on manifolds, which is too complex for shallow Gaussian processes thereon. For example, while the latter perform well on high-altitude wind data, they struggle with the more intricate, nonstationary patterns at low altitudes. Our models significantly improve performance in these settings, enhancing prediction quality and uncertainty calibration, and remain robust to overfitting, reverting to shallow models when additional complexity is unneeded. We further showcase our models on Bayesian optimisation problems on manifolds, using stylised examples motivated by robotics, and obtain substantial improvements in later stages of the optimisation process. Finally, we show our models to have potential for speeding up inference for non-manifold data, when, and if, it can be mapped to a proxy manifold well enough.
- Abstract（参考訳）: 本稿では, リーマン多様体上のガウス過程モデルを提案する。
多様体から多様体への隠蔽層と任意の最終層を用いて、多様体およびスカラー値関数とベクトル場をモデル化することができる。
我々は、その上浅いガウス過程には複雑すぎる多様体上で本質的に支持されるデータをターゲットにしている。
例えば、高高度の風のデータでは後者はうまく機能するが、低高度ではより複雑で非定常的なパターンに苦しむ。
我々のモデルはこれらの設定における性能を著しく改善し、予測品質と不確実性を向上し、追加の複雑さが不要な場合に浅いモデルに逆戻りし、オーバーフィッティングに頑健である。
さらに、ロボット工学に動機づけられたスタイル化された例を用いて、多様体上のベイズ最適化問題に関するモデルを紹介し、最適化プロセスの後期段階において実質的な改善を得た。
最後に、我々のモデルは、非多様体データに対する推論を高速化する可能性を示し、いつ、そして、それがプロキシ多様体に十分にマッピングできるかを示す。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳（メタデータ） (2023-10-30T21:27:53Z) - Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。
これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。
本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文 参考訳（メタデータ） (2023-10-30T09:52:48Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Manifold Learning by Mixture Models of VAEs for Inverse Problems [1.5749416770494704]
任意の位相の多様体を表現するために,変分オートエンコーダの混合モデルを学習する。
学習多様体に制限されたデータ忠実度項を最小化することにより、逆問題の解法に使用する。
本手法を低次元トイの例に応用し, 脱臭・電気インピーダンストモグラフィーにも応用した。
論文 参考訳（メタデータ） (2023-03-27T14:29:04Z) - Multi-fidelity data fusion for the approximation of scalar functions
with low intrinsic dimensionality through active subspaces [0.0]
アクティブな部分空間を含む多面的アプローチを提案し、それを2つの異なる高次元ベンチマークでテストする。
本研究では,アクティブな部分空間を含む多元性アプローチを提案し,これを2つの異なる高次元ベンチマークで検証する。
論文 参考訳（メタデータ） (2020-10-16T12:35:49Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。