論文の概要: Scale invariant process regression
- arxiv url: http://arxiv.org/abs/2208.10461v1
- Date: Mon, 22 Aug 2022 17:32:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:54:21.218731
- Title: Scale invariant process regression
- Title（参考訳）: スケール不変過程回帰
- Authors: Matthias Wieler
- Abstract要約: 本稿では,カーネル,長さスケール,分散,事前平均の指定を必要としない新しい回帰手法を提案する。
実験の結果,正規性とスケール・アンド・トランスフォーメーションの不変性のみを仮定することで,作業機械学習手法の導出が可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes are the leading method for non-parametric regression on
small to medium datasets. One main challenge is the choice of kernel and
optimization of hyperparameters. We propose a novel regression method that does
not require specification of a kernel, length scale, variance, nor prior mean.
Its only hyperparameter is the assumed regularity (degree of differentiability)
of the true function.
We achieve this with a novel non-Gaussian stochastic process that we
construct from minimal assumptions of translation and scale invariance. The
process can be thought of as a hierarchical Gaussian process model, where the
hyperparameters have been incorporated into the process itself. To perform
inference with this process we develop the required mathematical tools.
It turns out that for interpolation, the posterior is a t-process with a
polyharmonic spline as mean. For regression, we state the exact posterior and
find its mean (again a polyharmonic spline) and approximate variance with a
sampling method. Experiments show a performance equal to that of Gaussian
processes with optimized hyperparameters.
The most important insight is that it is possible to derive a working machine
learning method by assuming nothing but regularity and scale- and translation
invariance, without any other model assumptions.
- Abstract（参考訳）: ガウス過程は、中小のデータセットにおける非パラメトリック回帰の先導手法である。
主な課題は、カーネルの選択とハイパーパラメータの最適化である。
本稿では,カーネル,長さスケール,分散,事前平均の指定を必要としない新しい回帰手法を提案する。
その唯一の超パラメータは、真の関数の仮定された正則性(微分可能性の度数)である。
我々はこれを、翻訳とスケール不変性の最小の仮定から構築する新しい非ガウス確率過程によって達成する。
このプロセスは階層的なガウス過程モデルとみなすことができ、ハイパーパラメータはプロセス自体に組み込まれている。
このプロセスで推論を行うには,必要な数学的ツールを開発する。
補間では、後部はポリハーモニックスプラインを平均としたt過程であることが判明した。
回帰について、正確な後続を述べ、その平均値(例えばポリハーモニックスプライン)とサンプリング法との近似分散を求める。
実験は最適化されたハイパーパラメータを持つガウス過程と同等の性能を示す。
最も重要な洞察は、他のモデル仮定なしで、正規性とスケールおよび翻訳不変性のみを仮定することで、動作する機械学習手法を導出することができることである。
関連論文リスト
- Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。
最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。
任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
論文 参考訳（メタデータ） (2024-05-29T19:21:55Z) - Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。
これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。
本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文 参考訳（メタデータ） (2023-10-30T09:52:48Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-06T17:10:01Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Gauss-Legendre Features for Gaussian Process Regression [7.37712470421917]
カーネル行列の低階近似を用いてガウス過程の回帰をスケールアップするためのガウス・レーゲンドル二次法を提案する。
この手法はよく知られたランダムなフーリエ特徴法に触発され、数値積分による低ランク近似も構築する。
論文 参考訳（メタデータ） (2021-01-04T18:09:25Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Fast Approximate Multi-output Gaussian Processes [6.6174748514131165]
提案手法のトレーニングには、$N×n$固有関数行列と$n×n$逆数しか必要とせず、$n$は選択された固有値の数である。
提案手法は,複数の出力に対して回帰し,任意の順序の回帰器の導関数を推定し,それらの相関関係を学習することができる。
論文 参考訳（メタデータ） (2020-08-22T14:34:45Z) - Sparse Gaussian Process Based On Hat Basis Functions [14.33021332215823]
制約のない回帰問題を解くために,新しいスパースガウス法を提案する。
提案手法は, 計算複雑性を正確なガウス過程において$O(n3)$から$O(nm2)$に減らし, $m$のハット基底関数と$n$のトレーニングデータポイントを備える。
論文 参考訳（メタデータ） (2020-06-15T03:55:38Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。