論文の概要: Efficient Conditioning Why Pseudo Observation Batch Bayesian Optimization Works When It Does not
- arxiv url: http://arxiv.org/abs/2605.18819v1
- Date: Tue, 12 May 2026 13:14:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 21:37:32.358048
- Title: Efficient Conditioning Why Pseudo Observation Batch Bayesian Optimization Works When It Does not
- Title（参考訳）: 擬似観測バッチベイズ最適化が動作しない場合の効率的な条件付け
- Authors: Kumbha Nagaswetha, Rabi Pathak,
- Abstract要約: Constant Liar (CL)、Kriging Believer (KB)、およびファンタジーモデルは並列ベイズ最適化におけるバッチ選択に広く使われている。
データを拡張した場合に,効率的な条件付けをキーサロゲート特性として,クローズドフォームで予測を更新する機能として同定する。
CL, KB, および空想モデルを, 偽値分布のみが異なる単一の条件付け機構のインスタンスとして統一する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constant Liar (CL), Kriging Believer (KB), and fantasy models are widely used for batch selection in parallel Bayesian Optimization, yet a unified theory explaining their effectiveness and conditions under which they fail has been lacking. We identify efficient conditioning as the key surrogate property the ability to update predictions in closed form when data is augmented. We prove that Gaussian Processes satisfy this requirement, producing provably distinct batch points with separation of order l, and that this holds for any acquisition function monotonically non decreasing in posterior uncertainty (EI, UCB, PI), with qualitatively similar behavior for Thompson Sampling. We unify CL, KB, and fantasy models as instances of a single conditioning mechanism differing only in the lie value distribution, and draw quantitative connections to Local Penalization (LP) and qualitative connections to Determinantal Point Processes (DPPs). To disentangle model structure from optimizer randomness, we introduce the Structural Diversity Diagnostic (SDD), a reusable methodology for testing surrogate compatibility. Experiments on Hartmann6D, Ackley 8D, Levy10D, and SVM hyperparameter tuning validate all theoretical predictions: CL or KBs implicit penalty matches or outperforms explicit LP greedy conditioning achieves convergence on par with joint qEI efficient conditioning extends to Multiquadric RBF networks; and parametric surrogates produce degenerate batches even when fully retrained (random forests), while neural networks regain diversity only at 15x the wall clock cost of GP conditioning. Robustness is confirmed across multiple initial datasets and under observation noise.
- Abstract（参考訳）: 定数リア(CL)、クリグ・ベリバー(KB)、ファンタジーモデルは並列ベイズ最適化におけるバッチ選択に広く用いられているが、それらの効果と失敗する条件を説明する統一理論は欠落している。
データを拡張した場合に,効率的な条件付けをキーサロゲート特性として,クローズドフォームで予測を更新する機能として同定する。
ガウス過程がこの要求を満たすことを証明し、有意に異なるバッチ点を順序 l の分離で生成し、これはトンプソンサンプリングに定性的に類似した振る舞いを持つ後続不確実性 (EI, UCB, PI) において単調に減少しない任意の獲得関数に対して成り立つことを証明した。
CL,KB,ファンタジーモデルを,嘘値分布のみが異なる単一条件付け機構のインスタンスとして統一し,局所的罰則(LP)と定性的決定点過程(DPP)に定量的に接続する。
モデル構造をオプティマイザのランダム性から切り離すために,サロゲート整合性をテストする再利用可能な手法である構造多様性診断(SDD)を導入する。
Hartmann6D, Ackley 8D, Levy10D, SVM のハイパーパラメータチューニング実験は、すべての理論的予測を検証している: CL または KBs の暗黙的なペナルティ一致または性能 明示的なLPグリーディ条件付けは、結合 qEI の効率的な条件付けをマルチクワッドリックRBFネットワークに拡張し、パラメトリックサロゲートは、完全に再訓練された(ランダムフォレスト)場合でも、退化したバッチを生成する。
ロバスト性は、複数の初期データセットと観測ノイズの下で確認される。
関連論文リスト
- Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳（メタデータ） (2026-01-06T16:26:40Z) - Symmetric Aggregation of Conformity Scores for Efficient Uncertainty Sets [6.673032375204486]
複数の予測器から非整合性スコアを集約する新しい手法であるSACP(Symmetric Aggregated Conformal Prediction)を提案する。
SACP はこれらのスコアを e-値に変換し、任意の対称アグリゲーション関数を用いてそれらを結合する。
我々はSACPが効率を継続的に改善し、しばしば最先端のモデルアグリゲーションベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2025-12-07T17:54:07Z) - What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。
我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。
その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
論文 参考訳（メタデータ） (2025-10-23T05:48:40Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。
フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-09T15:43:46Z) - Conformalized Unconditional Quantile Regression [27.528258690139793]
コンフォメーション予測と非条件量子回帰を組み合わせた予測推論手法を開発した。
提案手法は不整合性に適応し,テストインスタンスに関連する透過的なカバレッジ保証を提供し,既存の手法と効率的に競合することを示す。
論文 参考訳（メタデータ） (2023-04-04T00:20:26Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。