論文の概要: Decoupled PFNs: Identifiable Epistemic-Aleatoric Decomposition via Structured Synthetic Priors

• arxiv url: http://arxiv.org/abs/2605.06413v1
• Date: Thu, 07 May 2026 15:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.936754
• Title: Decoupled PFNs: Identifiable Epistemic-Aleatoric Decomposition via Structured Synthetic Priors
• Title（参考訳）: 解離性PFN : 構造的合成前駆体による認識可能なてんかん-動脈解離
• Authors: Richard Bergna, Stefan Depeweg, José Miguel Hernández-Lobato,
• Abstract要約: Pre-Fitted Networks (PFNs) は、合成タスクに対するメタラーニングによるベイズ予測を補正するが、その標準出力はノイズの観測よりも後続の予測分布である。 以上の結果から, このてんかんの分離は, 一般的には後部予測分布だけでは識別できないことが明らかとなった。 我々はこれらのラベルを用いて、非結合のPFNを、別個の潜在信号頭とアレータリックヘッドで訓練する。
• 参考スコア（独自算出の注目度）: 25.166488691037078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior-Fitted Networks (PFNs) amortize Bayesian prediction by meta-learning over a synthetic task prior, but their standard output is a posterior predictive distribution over noisy observations. For sequential decision-making, such as active learning and Bayesian optimization, acquisition should prioritize epistemic uncertainty about the latent signal rather than irreducible aleatoric observation noise. We show that this epistemic--aleatoric split is not identifiable in general from the posterior predictive distribution alone, even when that distribution is known exactly. We then exploit a distinctive advantage of PFNs: because the synthetic data-generating process is under our control, each task can contain an explicit latent signal and noise function, and the generator can provide query-level labels for both the noiseless target and the observation-noise variance. We use these labels to train a decoupled PFN with separate latent-signal and aleatoric heads. The observation-level predictive is induced by convolving the latent signal distribution with the learned noise model. Empirically, epistemic-only acquisition mitigates the failure mode of total-variance exploration in noisy and heteroscedastic settings. In matched comparisons, decoupled models usually improve over tuned observation-level baselines, with the clearest gains in HPO; in broader sweeps, a decoupled model obtains the best average rank in both HPO and synthetic BO.
• Abstract（参考訳）: Pre-Fitted Networks (PFNs) は、合成タスクに対するメタラーニングによるベイズ予測を補正するが、その標準出力はノイズの観測よりも後続の予測分布である。 能動学習やベイズ最適化のようなシーケンシャルな意思決定では、取得は不可避なアレタリックな観測ノイズではなく、潜伏信号に関する疫学的な不確実性を優先すべきである。 本研究は, 後部予測分布のみから, 仮にその分布が正確に把握されたとしても, 一般には, このてんかん-上垂体分裂は同定できないことを示す。 合成データ生成プロセスは制御下にあるため,各タスクは明示的な遅延信号とノイズ関数を含むことができ,生成元はノイズのないターゲットと観測ノイズの分散の両方に対してクエリレベルラベルを提供することができる。 我々はこれらのラベルを用いて、非結合のPFNを、別個の潜在信号頭とアレータリックヘッドで訓練する。 観測レベルの予測は、学習した雑音モデルと潜時信号分布を関連付けることによって誘導される。 経験的に、てんかんのみの取得は、ノイズや異種セッティングにおける全分散探索の失敗モードを緩和する。 一致した比較では、デカップリングモデルは通常、調整された観測レベルのベースラインよりも改善され、HPOで最も明確な利得が得られ、より広いスイープでは、デカップリングモデルはHPOと合成BOの両方で最高の平均ランクを得る。

関連論文リスト

• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• DAISI: Data Assimilation with Inverse Sampling using Stochastic Interpolants [12.587156528707796]
  本稿では,フローベース生成モデルに基づくスケーラブルなフィルタリングアルゴリズムであるDAISIを紹介する。 DAISIは, 疎度, 雑音, 非線形の観測を行う体制において, 正確なフィルタリング結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-11-29T00:02:45Z)
• Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise [43.07594740645669]
  Diffusion Probabilistic Models (DPM) は強力な生成性能を達成しているが、その帰納的バイアスは大半が暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。
  論文  参考訳（メタデータ） (2025-10-07T16:08:39Z)
• Stein's unbiased risk estimate and Hyvärinen's score matching [9.035498732406039]
  経験的ベイズでは、主なアプローチは非パラメトリック最大推定(NPMLE)である。 私たちの設定では、Hyv"arinen氏の暗黙のSMは、統計学からの別の古典的アイデアと等価です。
  論文  参考訳（メタデータ） (2025-02-27T14:15:05Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。