論文の概要: Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
- arxiv url: http://arxiv.org/abs/2609.26290v1
- Date: Tue, 22 Sep 2026 12:03:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.351427
- Title: Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
- Title(参考訳): ゆらぎの学習: 因果語前訓練のための統計的基礎
- Abstract要約: 変動制御事前訓練(FSP)を導入する。
各合成テーブルは、その平均処理効果と、その効率的な影響-機能ゆらぎによってラベル付けされる。
FSPは、潜伏監視に対する大きな効果シフトRMSEを69.8%削減する。
- 参考スコア(独自算出の注目度): 8.401473551081748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal tabular foundation models amortize effect estimation across synthetic mechanisms, but latent-effect supervision rewards posterior shrinkage instead of directly encoding the repeated-sample response needed in a fixed deployment population. We introduce fluctuation-supervised pretraining (FSP): each synthetic table is labeled by its average treatment effect plus its efficient influence-function fluctuation, while deployment remains a single frozen forward pass. Along the path $T_{λ,P}=θ(P)+λP_nψ_P$, we prove an endpoint transition: every fixed $λ<1$ retains label ambiguity of order $(1-λ)^2/n$, whereas full fluctuation makes the Gaussian label observable and reduces optimal finite-stratum causal label-prediction risk to order $n^{-2}$. One finite-pretraining bound combines label, network, episode-sampling, and optimization errors; its resulting sampling defect controls fixed-mechanism bias, mean squared error, variance, Gaussian approximation, and, with variance-head accuracy, studentized coverage. Complementary lower bounds separate the local $n^{-1}$ ATE risk that deployment observations cannot erase from the $\log N/M$ excess risk of a generic finite-dictionary episode-learning problem. Experiments trace the learned sampling response. With a raw-row/column backbone, FSP reduces large-effect-shift RMSE by 69.8% relative to latent supervision and by 39.5% relative to a released CausalPFN checkpoint on matched tables. Continuous-covariate experiments, known-effect semisynthesis and two randomized-study evaluations separate sampling-law fidelity from point-risk shrinkage and expose weak-overlap errors in both learned heads.
- Abstract(参考訳): 因果的表層基盤モデルでは, 合成機構全体にわたって効果推定を補正するが, 潜時効果指導は, 固定配置個体群に必要な繰り返しサンプル応答を直接コードする代わりに, 後部収縮を補償する。
各合成テーブルは, 平均処理効果と効率的な影響関数ゆらぎによってラベル付けされ, 配置は単一凍結前方通過のままである。
すべての固定された$λ<1$は位数$(1-λ)^2/n$のラベル曖昧性を保持するが、フル揺らぎはガウスラベルを観測可能とし、最適有限層因果ラベル予測リスクを$n^{-2}$に下げる。
1つの有限予測境界は、ラベル、ネットワーク、エピソードサンプリング、最適化エラーを組み合わせ、その結果のサンプリング欠陥は、固定力学バイアス、平均二乗誤差、分散、ガウス近似、および分散頭精度、学生化カバレッジを制御する。
補的下界は、一般的な有限辞書エピソード学習問題の過大なリスクである$\log N/M$から、展開観測が消去できないようなローカルな$n^{-1}$ ATEリスクを分離する。
実験は、学習されたサンプリング応答をトレースする。
FSPは生のロー/カラムのバックボーンにより、潜伏監視と比較して大きな効果シフトRMSEを69.8%削減し、マッチしたテーブル上でリリースされたCausalPFNチェックポイントと比較して39.5%削減する。
連続共変量実験、既知の半合成、および2つのランダム化されたスタディ評価は、点リスク収縮からサンプリング法則の忠実度を分離し、両方の学習した頭において弱いオーバーラップ誤差を露呈する。
関連論文リスト
- Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳(メタデータ) (2026-07-14T02:08:33Z) - Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition [51.253617466579335]
本研究では,学習者が端末の推薦を控えることができるベイジアン固定予算のベストアーム識別問題について検討する。
本研究は,非検出誤りの確率を解析し,吸収を伴わない準最適腕を推奨するリスクについて考察する。
論文 参考訳(メタデータ) (2026-06-28T05:07:27Z) - Decoherence as Defence and the Magnitude of Noise Regularisation: A Rigorous N -Qubit Theory of Stochastic Quantum Neural Networks for Adversarially Robust Network Intrusion Detection [0.0]
マスター方程式とそのベクトル化されたリウビリアンによる$N$-qubitの定式化を与える。
エンフェデコヒーレンス・コントラクションの定理、すなわち強度の非分極チャネルを証明します。
このロバスト性は、アタックタイムの収縮ではなく、ノイズの変形したトレーニング境界から生じることを示す。
論文 参考訳(メタデータ) (2026-06-23T07:06:56Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳(メタデータ) (2026-05-23T22:00:38Z) - When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression [1.14219428942199]
標準的なプラクティスは、信頼性カットオフで校正されたスコアをしきい値にし、ハードラベルを真実として扱うことである。
疑似ラベリングパイプラインのためのキャリブレーション対応診断装置を開発した。
我々は、下流回帰係数において信頼しきい値が誘導する減衰バイアスの閉形式式を導出する。
論文 参考訳(メタデータ) (2026-05-12T21:49:11Z) - Active Multiple-Prediction-Powered Inference [2.1710524042938073]
医療のデプロイ後のモニタリングには統計的に有効なラベル効率の方法が必要であるが、クリニックチャートのゴールドスタンダードラベルは高価である。
我々は,各インスタンスをコスト適切な予測器にルーティングし,金標準ラベルを比例してサンプリングし,単一のデプロイ時間に予測を再現する予測能動型推論(AM-PPI)を提案する。
論文 参考訳(メタデータ) (2026-05-08T19:48:57Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise [10.844819221753042]
我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。
i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。
我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
論文 参考訳(メタデータ) (2025-10-10T21:57:18Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳(メタデータ) (2022-10-15T04:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。