論文の概要: Exploiting Gradients in Bayesian Inference of Expensive Simulators
- arxiv url: http://arxiv.org/abs/2610.12076v1
- Date: Thu, 08 Oct 2026 14:52:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.084845
- Title: Exploiting Gradients in Bayesian Inference of Expensive Simulators
- Title（参考訳）: 余剰シミュレータのベイズ推定における爆発勾配
- Abstract要約: 入力パラメータに対するシミュレータ出力の勾配はますます高まっている。
本稿では,ガウス過程に勾配情報を組み込むことによって,ベイズ最適化に基づく推論が,限られたシミュレーション予算の下でどのように加速されるかを示す。
逆モード微分では、追加の計算コストを考慮すると、推論効率の向上が維持される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simulators based on differential equations are ubiquitous in science and engineering. They are often used in simulation-based inference to evaluate the posterior distribution of the input parameters based on real-world observations of the simulator outputs. However, inference becomes challenging when individual simulator evaluations are computationally expensive. In such cases, a Bayesian optimization-based active learning approach with Gaussian process surrogate models has been used to maximize the information obtained from a limited simulation budget. Recently, gradients of simulator outputs with respect to input parameters have become increasingly available, yet they are rarely exploited for inference. Even though we only need to learn the simulator input-output relationship, gradient information can provide an additional valuable signal to guide the active learning procedure. This is of particular interest in the case of expensive simulators, when sample efficiency is crucial. In this paper, we demonstrate how incorporating gradient information into the Gaussian process surrogate accelerates Bayesian optimization-based inference under a limited simulation budget. Our results show significant improvement in convergence speed from using gradient information. For reverse-mode differentiation, the inference efficiency gains are maintained when accounting for the additional computational cost. In contrast, for forward-mode differentiation, the inference speed-up does not outweigh the computational costs. These results indicate that gradient-enhanced surrogates are beneficial primarily in problems where the number of parameters exceeds the output dimensionality, where reverse-mode differentiation is efficient.
- Abstract（参考訳）: 微分方程式に基づくシミュレータは、科学や工学においてユビキタスである。
シミュレーションに基づく推論において、しばしばシミュレータ出力の実世界観測に基づいて入力パラメータの後方分布を評価するために用いられる。
しかし、個別のシミュレータ評価が計算コストが高い場合には、推論が困難になる。
このような場合、ガウス過程シュロゲートモデルを用いたベイズ最適化に基づく能動学習手法は、限られたシミュレーション予算から得られる情報を最大化するために用いられる。
近年,入力パラメータに対するシミュレータ出力の勾配が増加してきているが,推論に利用されることは稀である。
シュミレーション・インプット・アウトプット関係を学習するしかなくても、勾配情報はアクティブな学習手順を導くための付加価値信号を与えることができる。
これは、高価なシミュレーターの場合、サンプル効率が不可欠である場合に特に興味深い。
本稿では,ガウス過程に勾配情報を組み込むことによって,ベイズ最適化に基づく推論が,限られたシミュレーション予算の下でどのように加速されるかを実証する。
その結果,勾配情報を用いた場合の収束速度は有意に向上した。
逆モード微分では、追加の計算コストを考慮すると、推論効率の向上が維持される。
対照的に、前方モードの微分では、推論の高速化は計算コストを上回りません。
これらの結果から, 逆モードの微分が効率的であるようなパラメータ数が出力次元を超える問題では, 勾配強化サロゲートが有効であることが示唆された。
関連論文リスト
- Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。
我々の手法は科学計算による並列シミュレーション技術に基づいている。
論文 参考訳（メタデータ） (2024-12-10T11:50:46Z) - Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference [12.019504660711231]
逐次的神経後部推定(ASNPE)を導入する。
ASNPEは、シミュレーションパラメータ候補の効用を基礎となる確率モデルに推定するために、推論ループにアクティブな学習スキームをもたらす。
提案手法は,大規模実世界の交通ネットワークにおいて,高度に調整されたベンチマークと最先端の後方推定手法より優れる。
論文 参考訳（メタデータ） (2024-12-07T08:57:26Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - Surrogate Neural Networks for Efficient Simulation-based Trajectory
Planning Optimization [28.292234483886947]
本稿では、ニューラルネットワークの形で代理モデルを用いて、参照軌道のシミュレーションに基づく最適化の計算時間を短縮する手法を提案する。
提案手法は,従来よりも74%優れた参照軌道が得られており,計算時間が大幅に短縮されることが明らかとなった。
論文 参考訳（メタデータ） (2023-03-30T15:44:30Z) - Neural Posterior Estimation with Differentiable Simulators [58.720142291102135]
微分可能シミュレータを用いてニューラル・ポストミラー推定(NPE)を行う新しい手法を提案する。
勾配情報が後部形状の制約にどのように役立ち、試料効率を向上させるかを示す。
論文 参考訳（メタデータ） (2022-07-12T16:08:04Z) - Differentiable Agent-Based Simulation for Gradient-Guided
Simulation-Based Optimization [0.0]
勾配推定法は局所最適化に向けて最適化を行うのに利用できる。
高入力次元の信号タイミング最適化問題では、勾配に基づく手法の方がかなり優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-23T11:58:21Z) - Simulation-efficient marginal posterior estimation with swyft: stop
wasting your precious time [5.533353383316288]
本研究では,ネスト型ニューラル・サイエンス・ツー・エビデンス比推定とシミュレーションの再利用のためのアルゴリズムを提案する。
これらのアルゴリズムが組み合わさって、縁部および関節後部の自動的および極端にシミュレーターによる効率的な推定を可能にする。
論文 参考訳（メタデータ） (2020-11-27T19:00:07Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - Black-Box Optimization with Local Generative Surrogates [6.04055755718349]
物理学や工学などの分野において、多くのプロセスは難易度を持つ非微分可能シミュレータでモデル化される。
本稿では,パラメータ空間の局所的近傍におけるシミュレータを近似するために,深部生成モデルを導入する。
パラメータ空間に対するシミュレータの依存性が低次元部分多様体に制約されている場合、本手法はベースライン法よりも高速にミニマを実現する。
論文 参考訳（メタデータ） (2020-02-11T19:02:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。