論文の概要: A Bayesian-Geometric Reading of Classical Model-Based Optimal Design
- arxiv url: http://arxiv.org/abs/2611.04450v1
- Date: Tue, 03 Nov 2026 07:41:59 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:51:17.906389
- Title: A Bayesian-Geometric Reading of Classical Model-Based Optimal Design
- Title(参考訳): 古典的モデルに基づく最適設計のベイズ幾何学的読解
- Abstract要約: 本稿では,前と後との相同性を期待する先行項として,各基準値が$Nからin$として現れる相補的な読解法を提案する。
Kullback-Leibler (KL) は、D-最適化を回復させる。
第6の基準であるE-最適性は、独立した予測相似性限界ではなく、C-最適性の最小値として回収される。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: The classical model-based optimal design criteria (D-, T-, L-, C-, and A-optimality) are usually motivated via the Cramér--Rao bound as optimizing scalar functions of the Fisher information matrix (FIM). This paper offers a complementary reading in which each criterion appears asymptotically as $N \to \infty$ as the leading-order term of an expected dissimilarity between prior and posterior, with the FIM entering through the Bernstein--von Mises limit. The Kullback--Leibler (KL) divergence of the posterior relative to the prior recovers D-optimality (classically known); a reverse KL of the prior relative to the posterior recovers T-optimality (here defined as maximization of the trace of the FIM, following one common convention) and its weighted-trace generalization; and a first-order approximation of the squared 2-Wasserstein distance recovers L-, C- and A-optimality. The five criteria emerge as instances of a common Bayesian-geometric template, indexed by three choices: the dissimilarity, the prior parametrization, and the approximation scheme used to evaluate it (e.g.\ Taylor expansions of the matrix square root). For the weighted criteria, the Gaussian prior covariance encodes the criterion's weight matrix, so any choice of weights corresponds to a specific prior in the family. The T-, L-, C-, and A-optimality derivations appear novel to the best of my knowledge. A sixth criterion, E-optimality, is recovered not as an independent expected-dissimilarity limit but as a min-max robustification of C-optimality against uncertainty in the modeler's prior direction. The framework is extended to distinguish between a designer's prior over unknown parameters at design time and a modeler's prior used for posterior inference, recovering the classical expected information gain objective as a special case.
- Abstract(参考訳): 古典的モデルに基づく最適設計基準(D-、T-、L-、C-、A-最適性)は、通常、フィッシャー情報行列(FIM)のスカラー関数の最適化としてクラメル-ラオ境界を介して動機付けられる。
本論文は,前と後との相似性の先行項として,各基準が漸近的に$N \to \infty$として出現し,FIMがベルンシュタイン-ヴォンミセス極限(Bernstein-von Mises limit)を突破する。 クルバック-リーブラー(KL)は,D-最適性(古典的には)を回復する,後からの相対の逆KLがT-最適性(以下,FIMのトレースの最大化として定義する)と重み付きトラス一般化を回復する,そして,2-ワッサーシュタイン距離L-最適性(英語版)とA-最適性(英語版)の第一次近似を与える,とする。
5つの基準は、共通ベイズ幾何学的テンプレートの例として現れ、相似性、事前のパラメトリゼーション、およびそれを評価するために使われる近似スキーム(例えば、行列平方根のテイラー展開)の3つの選択によってインデックス付けされる。
重み付き基準について、ガウス先行共分散は基準の重み行列を符号化するので、重みの選択は家族内の特定の事前に対応する。
T-、L-、C-、A-最適導出は、私の知る限りでは新規に見えます。
第6の基準であるE-最適性は、独立した予測相似性限界ではなく、モデリング者の以前の方向の不確実性に対するC-最適性の最小値の強固化として回収される。
このフレームワークは、設計時の未知のパラメータに対するデザイナの事前と後部推論に使用されるモデラーの事前とを区別するように拡張され、古典的な期待情報取得目的を特別なケースとして回収する。
関連論文リスト
- Principled Design of Expected Improvement for Continuous Simulation Optimization [5.140215372395416]
未知の異方性雑音は 3つの基本設計選択を伴います
改善、レプリケーションアロケーション、最終的なレコメンデーションを定義するために、既存のものを選択します。
これは、連続領域EI型シミュレーション最適化法において、この形式に対する最初の単純回帰保証である。
論文 参考訳(メタデータ) (2026-10-13T14:10:35Z) - A Defense of the Quadratic Model [71.57026347416729]
最も単純な最適化モデル -- 二次モデル -- をテストする。
1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
論文 参考訳(メタデータ) (2026-07-23T18:02:03Z) - BayeSQP: Bayesian Optimization through Sequential Quadratic Programming [12.643071505470056]
BayeSQPは一般的なブラックボックス最適化のための新しいアルゴリズムである。
逐次二次プログラミングの構造とベイズ最適化の概念を組み合わせる。
BayeSQPは高次元設定で最先端の手法より優れている。
論文 参考訳(メタデータ) (2026-02-03T08:08:03Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳(メタデータ) (2025-10-22T18:25:43Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳(メタデータ) (2025-10-06T17:58:01Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - The Choice of Noninformative Priors for Thompson Sampling in
Multiparameter Bandit Models [56.31310344616837]
トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。
本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
論文 参考訳(メタデータ) (2023-02-28T08:42:42Z) - Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds
and Comparison with KL-divergence based Optimal Posteriors and
Cross-Validation Procedure [0.0]
カイ二乗発散に基づくPACBayesian境界の最適後部について,その分布,計算のスケーラビリティ,テストセットの性能について検討した。
チ二乗発散に基づく後肢は境界が弱く、試験誤差が悪くなるため、KL発散に基づく後肢による基礎的な正規化が示唆される。
論文 参考訳(メタデータ) (2020-08-14T03:15:23Z) - Variational Autoencoders with Riemannian Brownian Motion Priors [4.8461049669050915]
変分オートエンコーダ(VAEs)は、一般にユークリッドであると仮定される低次元の潜在空間における与えられたデータを表す。
最近の研究は、この前はモデルキャパシティに有害な影響があり、性能が劣ることを示している。
本稿では、この前の未知の正規化因子に依存しない効率的な推論手法を提案する。
論文 参考訳(メタデータ) (2020-02-12T20:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。