論文の概要: Anisotropic Trust Region Warping for Prior-Data Fitted Networks in Bayesian Optimisation
- arxiv url: http://arxiv.org/abs/2610.37737v1
- Date: Tue, 27 Oct 2026 14:58:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.307978
- Title: Anisotropic Trust Region Warping for Prior-Data Fitted Networks in Bayesian Optimisation
- Title（参考訳）: ベイズ最適化における事前データ整合ネットワークの異方性信頼領域ワープ
- Abstract要約: 目的関数の長大化に伴い, PFN の予測ログは GP の補正よりも遅れることを示す。
ネットワークを再トレーニングすることなくミスマッチを修正するために,Anisotropic Trust Region (ATR)ワープを導入する。
- 参考スコア（独自算出の注目度）: 0.30586855806896046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prior-Data Fitted Networks (PFNs) replace the hyperparameter refitting of Gaussian Process (GP) surrogates in Bayesian optimisation with a single forward pass, at the cost of a prior that is fixed at meta-training time. We show empirically that a PFN's predictive log-likelihood falls increasingly behind that of a refitted GP as the objective function's lengthscale grows beyond the mode of the PFN's meta-training prior, and that this deficit carries over to optimisation performance. To correct the mismatch without retraining the network, we introduce Anisotropic Trust Region (ATR) warping. Per-dimension lengthscales are estimated by kernel target alignment, and an affine rescaling of the input space maps the objective onto the lengthscale the PFN expects, with a trust region around the anchor determining which observations are retained, leaving the PFN's $\mathcal{O}(d \cdot N^2)$ inference cost unchanged. On functions drawn from a Matérn-3/2 kernel, ATR warping improves optimisation performance of the PFN at both extremes of the lengthscale range. Our implementation is publicly available at https://github.com/youngers2006/Trust-Region-Warping-For-PFNs.
- Abstract（参考訳）: Prior-Data Fitted Networks (PFNs) は、ガウス過程(GP)のハイパーパラメータ再構成を、メタトレーニング時に固定される前のコストで、ベイズ最適化において1つのフォワードパスで置き換える。
目的関数の長大化がPFNのメタトレーニングのモードを超えて進行するにつれて,PFNの予測的ログライクフットが改良GPのそれより遅れることが実証的に示され,この欠陥が最適化性能に取って代わることが示されている。
ネットワークを再トレーニングすることなくミスマッチを修正するために,Anisotropic Trust Region (ATR)ワープを導入する。
入力空間のアフィン再スケーリングは、その目的をPFNが期待する長さスケールにマッピングし、アンカーの周囲の信頼領域がどの観測が保持されているかを判断し、PFNの$\mathcal{O}(d \cdot N^2)$推論コストは変わらない。
Matérn-3/2カーネルから引き出された関数について、ATRワープは長さ範囲の両極端におけるPFNの最適化性能を改善する。
実装はhttps://github.com/youngers2006/Trust-Region-Warping-For-PFNsで公開されています。
関連論文リスト
- Debiased Prior-Data Fitted Networks for Amortized Bayesian Semi-Parametric Inference [44.69148451211339]
我々は、有限目標に対する推論を行うために、偏りのないPFNの理論的基礎を開発する。
我々は、PFNとアモータイズされたベイズ的推論と、頻繁な半パラメトリック効率理論との間の新しい関係を確立する。
論文 参考訳（メタデータ） (2026-10-20T14:52:35Z) - Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks [0.0]
物理インフォームドニューラルネットワーク(fpBPINN)を用いたPDE制約インバージョンに対する機能優先型統一フレームワークを提案する。
1つ目は機能優先のベイズ型PINN(FPI-BPINN)で、ニューラルネットワークの重み付けが所定の機能前と一致していることが学習される。
2つ目は、関数空間上で直接ParVIを用いてベイズ推定を行うPINN(fParVI-PINN)に対する関数空間に基づく変分推論である。
論文 参考訳（メタデータ） (2026-05-08T00:13:13Z) - Optimize Wider, Not Deeper: Consensus Aggregation for Policy Optimization [8.093146587950573]
近ポリシー最適化は、クリッピングされたSGDの複数のエポックを用いた信頼領域更新を近似する。
ユークリッドパラメータ空間とポリシー分布の自然なパラメータ空間の2つの空間におけるアグリゲーションについて検討する。
CAPOは、追加の環境相互作用を伴わずに、より深く、より広い範囲で最適化することで、ポリシーの最適化を改善することができることを示した。
論文 参考訳（メタデータ） (2026-03-13T03:02:12Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - Decoupled-Value Attention for Prior-Data Fitted Networks: GP Inference for Physical Equations [0.3823356975862005]
PFNは、物理系の高速サロゲートを生成するための時間消費ガウス過程(GP)推論の代替として有望である。
本稿では,DVA(Decoupled-Value Attention)を導入し,関数空間が入力上のカーネルによって完全に特徴付けられるというGP特性を動機とした。
PFNをスケールする上で重要な要素は,アーキテクチャ自体よりもアテンションルールにあることを実証する。
論文 参考訳（メタデータ） (2025-09-25T09:32:42Z) - FisherTune: Fisher-Guided Robust Tuning of Vision Foundation Models for Domain Generalized Segmentation [65.93276461982093]
既存のアプローチでは、パラメータを選択的に微調整するか、VFMを凍結し、アダプタのみを更新する。
我々は、Domain-Related Fisher Information Matrix (DR-FIM) によって誘導される堅牢な微調整法である textbfFisherTune を提案する。
DR-FIMはタスクやドメイン間でパラメータの感度を測定し、汎用性を維持し、DGSS適応性を高めるための選択的更新を可能にする。
論文 参考訳（メタデータ） (2025-03-23T04:47:15Z) - Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。
具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。
実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
論文 参考訳（メタデータ） (2024-12-05T14:17:16Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。