論文の概要: Sliced gradient-enhanced Kriging for high-dimensional function
approximation
- arxiv url: http://arxiv.org/abs/2204.03562v1
- Date: Tue, 5 Apr 2022 07:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 16:04:10.121066
- Title: Sliced gradient-enhanced Kriging for high-dimensional function
approximation
- Title（参考訳）: 高次元関数近似のためのスライス勾配強化クリグ
- Authors: Kai Cheng, Ralf Zimmermann
- Abstract要約: SGE-Krigingと呼ばれる新しい手法を提案し、相関行列のサイズと超拡張パラメータの数を減らす。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
- 参考スコア（独自算出の注目度）: 3.147379819740595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient-enhanced Kriging (GE-Kriging) is a well-established surrogate
modelling technique for approximating expensive computational models. However,
it tends to get impractical for high-dimensional problems due to the large
inherent correlation matrix and the associated high-dimensional hyper-parameter
tuning problem. To address these issues, we propose a new method in this paper,
called sliced GE-Kriging (SGE-Kriging) for reducing both the size of the
correlation matrix and the number of hyper-parameters. Firstly, we perform a
derivative-based global sensitivity analysis to detect the relative importance
of each input variable with respect to model response. Then, we propose to
split the training sample set into multiple slices, and invoke Bayes' theorem
to approximate the full likelihood function via a sliced likelihood function,
in which multiple small correlation matrices are utilized to describe the
correlation of the sample set. Additionally, we replace the original
high-dimensional hyper-parameter tuning problem with a low-dimensional
counterpart by learning the relationship between the hyper-parameters and the
global sensitivity indices. Finally, we validate SGE-Kriging by means of
numerical experiments with several benchmarks problems. The results show that
the SGE-Kriging model features an accuracy and robustness that is comparable to
the standard one but comes at much less training costs. The benefits are most
evident in high-dimensional problems.
- Abstract（参考訳）: Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。
しかし、大きな固有相関行列と関連する高次元ハイパーパラメータチューニング問題により、高次元問題には実用的でない傾向がある。
これらの問題に対処するため,本論文では,相関行列のサイズとハイパーパラメータ数の両方を削減するスライスされたGE-Kriging (SGE-Kriging) という新しい手法を提案する。
まず,モデル応答に対する各入力変数の相対的重要性を検出するために,デリバティブに基づく大域的感度解析を行う。
そこで,本論文では,サンプル集合を複数のスライスに分割し,ベイズの定理を導出し,スライス可能なスライス関数を用いて全確率関数を近似し,複数の小さな相関行列を用いてサンプル集合の相関関係を記述する。
さらに,高パラメータと大域感度指標の関係を学習することで,従来の高次元ハイパーパラメータチューニング問題を低次元に置き換える。
最後に,いくつかのベンチマーク問題を用いた数値実験によりSGE-Krigingを検証する。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
この利点は高次元問題において最も顕著である。
関連論文リスト
- Dimension reduction via score ratio matching [0.9012198585960441]
スコアマッチングから派生したフレームワークを提案し、勾配を利用できない問題に勾配に基づく次元の減少を拡大する。
提案手法は,低次元構造を有する問題に対して,標準的なスコアマッチングよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:21:03Z) - Gradient-based bilevel optimization for multi-penalty Ridge regression
through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。
提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。
勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文 参考訳（メタデータ） (2023-11-23T20:03:51Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - T-LoHo: A Bayesian Regularization Model for Structured Sparsity and
Smoothness on Graphs [0.0]
グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。
グラフィカルな関係を持つ高次元パラメータに先立って提案する。
構造された空間と滑らかさを同時に検出するために使用します。
論文 参考訳（メタデータ） (2021-07-06T10:10:03Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳（メタデータ） (2021-02-04T11:47:21Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。