論文の概要: Bayesian Optimization under Uncertainty for Training a Scale Parameter in Stochastic Models

• arxiv url: http://arxiv.org/abs/2510.06439v1
• Date: Tue, 07 Oct 2025 20:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.188736
• Title: Bayesian Optimization under Uncertainty for Training a Scale Parameter in Stochastic Models
• Title（参考訳）: 確率モデルにおけるスケールパラメータの訓練のための不確かさを考慮したベイズ最適化
• Authors: Akash Yadav, Ruda Zhang,
• Abstract要約: 本稿では,不確実性下でのハイパーパラメータチューニングに適した新しいフレームワークを提案する。 提案手法は,確率変数に対する統計的サロゲートを用い,予測演算子の評価を可能にする。 従来の1次元モンテカルロに基づく最適化手法と比較して、提案手法では40倍の少ないデータポイントが必要であり、計算コストを最大40倍に削減できる。
• 参考スコア（独自算出の注目度）: 3.7527745397166754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter tuning is a challenging problem especially when the system itself involves uncertainty. Due to noisy function evaluations, optimization under uncertainty can be computationally expensive. In this paper, we present a novel Bayesian optimization framework tailored for hyperparameter tuning under uncertainty, with a focus on optimizing a scale- or precision-type parameter in stochastic models. The proposed method employs a statistical surrogate for the underlying random variable, enabling analytical evaluation of the expectation operator. Moreover, we derive a closed-form expression for the optimizer of the random acquisition function, which significantly reduces computational cost per iteration. Compared with a conventional one-dimensional Monte Carlo-based optimization scheme, the proposed approach requires 40 times fewer data points, resulting in up to a 40-fold reduction in computational cost. We demonstrate the effectiveness of the proposed method through two numerical examples in computational engineering.
• Abstract（参考訳）: ハイパーパラメータチューニングは、特にシステム自体が不確実性を伴う場合、難しい問題である。 ノイズ関数の評価のため、不確実性の下での最適化は計算コストがかかる。 本稿では,確率モデルにおけるスケール型あるいは精度型パラメータの最適化に着目し,不確実性の下でのハイパーパラメータチューニングに適した新しいベイズ最適化フレームワークを提案する。 提案手法は,確率変数に対する統計的サロゲートを用い,予測演算子の解析的評価を可能にする。 さらに、ランダム取得関数の最適化のためのクローズドフォーム式を導出し、繰り返し当たりの計算コストを大幅に削減する。 従来の1次元モンテカルロに基づく最適化手法と比較して、提案手法では40倍の少ないデータポイントが必要であり、計算コストを最大40倍に削減できる。 計算工学における2つの数値例を通して提案手法の有効性を実証する。

関連論文リスト

• A New Stochastic Approximation Method for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
  本稿では,マルチ時間スケール近似アルゴリズムを用いた勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。 提案手法は,最大推定問題と後続密度推定問題の両方で生じる比バイアスを効果的に解決する。 我々の研究はGSPEフレームワークを拡張し、マルコフモデルや変分推論に基づく問題のような複雑なモデルを扱う。
  論文  参考訳（メタデータ） (2025-03-24T03:54:50Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
  この研究はデータ駆動逆最適化(IO)に対処する。 目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
  論文  参考訳（メタデータ） (2024-05-28T06:52:17Z)
• Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
  サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。 入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。 コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
  論文  参考訳（メタデータ） (2024-04-23T09:22:35Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Real-Time Optimization Meets Bayesian Optimization and Derivative-Free Optimization: A Tale of Modifier Adaptation [0.0]
  本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。 提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。 取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
  論文  参考訳（メタデータ） (2020-09-18T12:57:17Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。