論文の概要: Sliced gradient-enhanced Kriging for high-dimensional function
approximation
- arxiv url: http://arxiv.org/abs/2204.03562v3
- Date: Thu, 4 Jan 2024 18:42:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 18:06:53.391958
- Title: Sliced gradient-enhanced Kriging for high-dimensional function
approximation
- Title（参考訳）: 高次元関数近似のためのスライス勾配強化クリグ
- Authors: Kai Cheng, Ralf Zimmermann
- Abstract要約: Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。
固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。
SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
- 参考スコア（独自算出の注目度）: 2.8228516010000617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient-enhanced Kriging (GE-Kriging) is a well-established surrogate
modelling technique for approximating expensive computational models. However,
it tends to get impractical for high-dimensional problems due to the size of
the inherent correlation matrix and the associated high-dimensional
hyper-parameter tuning problem. To address these issues, a new method, called
sliced GE-Kriging (SGE-Kriging), is developed in this paper for reducing both
the size of the correlation matrix and the number of hyper-parameters. We first
split the training sample set into multiple slices, and invoke Bayes' theorem
to approximate the full likelihood function via a sliced likelihood function,
in which multiple small correlation matrices are utilized to describe the
correlation of the sample set rather than one large one. Then, we replace the
original high-dimensional hyper-parameter tuning problem with a low-dimensional
counterpart by learning the relationship between the hyper-parameters and the
derivative-based global sensitivity indices. The performance of SGE-Kriging is
finally validated by means of numerical experiments with several benchmarks and
a high-dimensional aerodynamic modeling problem. The results show that the
SGE-Kriging model features an accuracy and robustness that is comparable to the
standard one but comes at much less training costs. The benefits are most
evident for high-dimensional problems with tens of variables.
- Abstract（参考訳）: Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。
しかし、固有相関行列の大きさと関連する高次元超パラメータチューニング問題により、高次元問題には実用的でない傾向がある。
これらの問題に対処するために、相関行列のサイズとハイパーパラメータの数の両方を減らすために、スライスされたGE-Kriging (SGE-Kriging) と呼ばれる新しい手法を開発した。
まず、トレーニングサンプルセットを複数のスライスに分割し、ベイズの定理を導いて、スライスされた確率関数によって全確率関数を近似し、複数の小さな相関行列を用いてサンプルセットの相関を1つの大きなスライスではなく記述する。
そして,高パラメータと導関数に基づく大域感度指標の関係を学習することにより,従来の高次元ハイパーパラメータチューニング問題を,低次元に置き換える。
SGE-Krigingの性能は、いくつかのベンチマークによる数値実験と高次元空力モデリング問題により検証された。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
この利点は、数十変数の高次元問題に対して最も顕著である。
関連論文リスト
- Dimension reduction via score ratio matching [0.9012198585960441]
スコアマッチングから派生したフレームワークを提案し、勾配を利用できない問題に勾配に基づく次元の減少を拡大する。
提案手法は,低次元構造を有する問題に対して,標準的なスコアマッチングよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:21:03Z) - Gradient-based bilevel optimization for multi-penalty Ridge regression
through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。
提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。
勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文 参考訳（メタデータ） (2023-11-23T20:03:51Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - T-LoHo: A Bayesian Regularization Model for Structured Sparsity and
Smoothness on Graphs [0.0]
グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。
グラフィカルな関係を持つ高次元パラメータに先立って提案する。
構造された空間と滑らかさを同時に検出するために使用します。
論文 参考訳（メタデータ） (2021-07-06T10:10:03Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳（メタデータ） (2021-02-04T11:47:21Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。