論文の概要: Scaling Gaussian Processes with Derivative Information Using Variational
Inference
- arxiv url: http://arxiv.org/abs/2107.04061v1
- Date: Thu, 8 Jul 2021 18:23:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 04:00:49.476152
- Title: Scaling Gaussian Processes with Derivative Information Using Variational
Inference
- Title（参考訳）: 変分推論を用いた微分情報によるガウス過程のスケーリング
- Authors: Misha Padidar, Xinran Zhu, Leo Huang, Jacob R. Gardner, David Bindel
- Abstract要約: 本稿では,変分推論を用いた導関数を用いた完全スケーラブルなガウス過程回帰を実現する手法を提案する。
我々は,高次元ステラレータ融合回帰タスクから,Pubmed上のグラフ畳み込みニューラルネットワークのトレーニングまで,さまざまなタスクに対するアプローチの完全なスケーラビリティを実証する。
- 参考スコア（独自算出の注目度）: 17.746842802181256
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Gaussian processes with derivative information are useful in many settings
where derivative information is available, including numerous Bayesian
optimization and regression tasks that arise in the natural sciences.
Incorporating derivative observations, however, comes with a dominating
$O(N^3D^3)$ computational cost when training on $N$ points in $D$ input
dimensions. This is intractable for even moderately sized problems. While
recent work has addressed this intractability in the low-$D$ setting, the
high-$N$, high-$D$ setting is still unexplored and of great value, particularly
as machine learning problems increasingly become high dimensional. In this
paper, we introduce methods to achieve fully scalable Gaussian process
regression with derivatives using variational inference. Analogous to the use
of inducing values to sparsify the labels of a training set, we introduce the
concept of inducing directional derivatives to sparsify the partial derivative
information of a training set. This enables us to construct a variational
posterior that incorporates derivative information but whose size depends
neither on the full dataset size $N$ nor the full dimensionality $D$. We
demonstrate the full scalability of our approach on a variety of tasks, ranging
from a high dimensional stellarator fusion regression task to training graph
convolutional neural networks on Pubmed using Bayesian optimization.
Surprisingly, we find that our approach can improve regression performance even
in settings where only label data is available.
- Abstract（参考訳）: 微分情報を持つガウス過程は、自然科学で生じる多くのベイズ最適化や回帰タスクを含む、微分情報が利用できる多くの環境で有用である。
しかし、微分観測を組み込むと、$D$入力次元の$N$ポイントでのトレーニングにおいて、O(N^3D^3)$計算コストが支配的になる。
これは中程度の問題でも難解である。
最近の研究では、低ドルのd$設定でこの難易度に対処しているが、高いn$、高い$d$設定はまだ未定であり、特に機械学習の問題が高次元化しているため、大きな価値がある。
本稿では,変分推論を用いた導関数を用いた完全スケーラブルなガウス過程回帰を実現する手法を提案する。
トレーニングセットのラベルをスカラー化するための値の誘導に類似して、トレーニングセットの部分微分情報をスカラー化するために方向微分を誘導するという概念を導入する。
これにより、デリバティブ情報を含むが、サイズがフルデータセットサイズ$n$やフル次元$d$に依存しない変分後部を構築することができる。
我々は,高次元ステラレータ融合回帰タスクからベイズ最適化を用いたPubmed上のグラフ畳み込みニューラルネットワークのトレーニングまで,さまざまなタスクに対するアプローチの完全なスケーラビリティを実証する。
驚いたことに、当社のアプローチはラベルデータのみを利用できる設定でも回帰パフォーマンスを向上できることが分かりました。
関連論文リスト
- Integrated Variational Fourier Features for Fast Spatial Modelling with Gaussian Processes [7.5991638205413325]
トレーニングポイントが$N$の場合、正確な推論は$O(N3)$コストを持ち、$M ll N$機能により、アートスパース変分メソッドの状態は$O(NM2)$コストを持つ。
近年、空間モデリングのような低次元タスクにおいて優れた性能を持つ$O(M3)$コストを約束する手法が提案されているが、最もよく使われるカーネルを除いて、非常に限られた種類のカーネルでしか動作しない。
本稿では,Fourier機能の統合について提案する。これは,これらのパフォーマンスのメリットを,より広範な定常的コのクラスに拡張するものである。
論文 参考訳（メタデータ） (2023-08-27T15:44:28Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳（メタデータ） (2022-12-12T18:58:59Z) - Derivative-Informed Neural Operator: An Efficient Framework for
High-Dimensional Parametric Derivative Learning [3.7051887945349518]
微分インフォームド・ニューラル演算子(DINO)を提案する。
DINO は入力関数空間から出力関数空間や興味の量への無限次元写像として近似する。
提案したDINOは,デリバティブ情報なしで訓練したニューラル演算子よりも有意に精度が高いことを示す。
論文 参考訳（メタデータ） (2022-06-21T21:40:01Z) - Precise Learning Curves and Higher-Order Scaling Limits for Dot Product
Kernel Regression [41.48538038768993]
本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。
我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
論文 参考訳（メタデータ） (2022-05-30T04:21:31Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。
ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。
分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文 参考訳（メタデータ） (2021-11-10T22:12:52Z) - Brain Image Synthesis with Unsupervised Multivariate Canonical
CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文 参考訳（メタデータ） (2021-03-22T05:19:40Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳（メタデータ） (2021-02-15T13:24:41Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - $\pi$VAE: a stochastic process prior for Bayesian deep learning with
MCMC [2.4792948967354236]
先行符号化オートエンコーダ(pi$VAE)と呼ばれる新しい変分オートエンコーダを提案する。
本稿では,ガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質も示す。
おそらく最も有用なのは、低次元分散潜在空間表現学習が、Stanのようなプログラミング言語内でプロセスの推論を行うエレガントでスケーラブルな手段を提供することを示すことである。
論文 参考訳（メタデータ） (2020-02-17T10:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。