論文の概要: Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

• arxiv url: http://arxiv.org/abs/2605.18971v1
• Date: Mon, 18 May 2026 18:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.903325
• Title: Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality
• Title（参考訳）: 先行課題の作り方 - 音素モデルの品質をどう決定するか-
• Authors: Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu,
• Abstract要約: O'Prior(O'Prior)は、以前に4つの結合成分を中心に構築された構成的リアリズムである。 O'Priorは、実際のベンチマークにおける精度と堅牢性において、一貫性と実質的な改善をもたらす。
• 参考スコア（独自算出の注目度）: 0.6670498055582529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What determines the quality of a tabular foundation model? Unlike language or vision, tabular foundation models acquire their inductive biases almost entirely from synthetic pretraining distributions, yet the design of these distributions remains poorly understood. Standard synthetic priors are too well-behaved: they omit the irregularities and failure modes that determine deployment robustness. We introduce O'Prior, a compositional realism prior built around four coupled components: a hierarchical SCM meta-generator spanning diverse functional families; a modular realism engine covering heterogeneous marginals, missingness, and target transforms; an explicit stress module injecting confounding and support-query mismatch; and a curriculum-governed, leakage-safe generation protocol. To isolate prior design as the scientific variable, we hold architecture, optimizer, and compute budget fixed and vary only the synthetic task distribution. O'Prior yields consistent and substantial improvements in downstream accuracy and robustness across real tabular benchmarks, with gains concentrated in regimes characterized by distributional irregularities. Ablations confirm that mechanism diversity, realism composition, and shift-aware stress each contribute independently, their effects are not interchangeable. These results establish synthetic prior construction as a first-order and largely overlooked determinant of tabular foundation model quality
• Abstract（参考訳）: 表の基盤モデルの品質を決定するものは何か? 言語や視覚とは異なり、表層基礎モデルは、ほとんど完全に合成事前学習分布から誘導バイアスを取得するが、これらの分布の設計はあまり理解されていない。 標準の合成プリエントは、配置の堅牢性を決定する不規則性と障害モードを省略するなど、あまりにも良好です。 O'Priorは,多種多様な機能的ファミリにまたがる階層的SCMメタジェネレータ,不均一な辺縁,不足,ターゲット変換をカバーするモジュール型リアリズムエンジン,コンバウンディングとサポートクエリのミスマッチを注入する明示的ストレスモジュール,カリキュラムが支配するリークセーフな生成プロトコルである。 先行設計を科学的変数として分離するために、アーキテクチャ、オプティマイザ、計算予算を固定し、合成タスク分布だけを変化させる。 O'Priorは、実際の表のベンチマークにおいて、下流の精度と堅牢性において、一貫性と実質的な改善をもたらす。 アブレーションは、メカニズムの多様性、リアリズムの構成、シフトアウェアストレスがそれぞれ独立して寄与し、それらの効果は交換不可能であることを確認した。 これらの結果は、合成先行構築を一階述語として確立し、表層基礎モデルの品質のほとんど見過ごされた決定要因として確立する。

関連論文リスト

• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• SpanNorm: Reconciling Training Stability and Performance in Deep Transformers [55.100133502295996]
  両パラダイムの強度を統合することでジレンマを解消する新しい手法であるSpanNormを提案する。 我々は、SpanNormと原則付きスケーリング戦略を組み合わせることで、ネットワーク全体にわたって有界信号のばらつきを維持できることを理論的に示す。 経験的に、SpanNormは、密集および混成実験(Mixture-of-Experts、MoE)のシナリオにおいて、標準正規化スキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-30T05:21:57Z)
• Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
  ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。 不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。 本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。 本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-01-29T18:07:18Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• The Reasoning-Creativity Trade-off: Toward Creativity-Driven Problem Solving [57.652356955571065]
  最先端の大規模言語モデル(LLM)パイプラインは、ブートストラップの推論ループに依存している。 我々は、この設計選択が、推論経路上のモデルの分布の崩壊にどのように敏感であるかを分析する。 本稿では,分散創造推論(DCR)について紹介する。これは,解トレースの確率測定を通じて,トレーニングを勾配流としてキャストする,統一的な変分目的である。
  論文  参考訳（メタデータ） (2026-01-02T17:10:31Z)
• Dictionary-Transform Generative Adversarial Networks [11.62669179647184]
  emphDictionary-Transform Generative Adversarial Networks (DT-GAN)を紹介する。 DT-GANは、ジェネレータがスパース合成辞書であり、判別器がエネルギーモデルとして機能する解析変換であるモデルベース対向フレームワークである。 DT-GAN対角ゲームは良好に提案され、少なくとも1つのナッシュ均衡が認められることを示す。
  論文  参考訳（メタデータ） (2025-12-25T13:41:14Z)
• Uncertainty-driven Embedding Convolution [16.523816971857787]
  不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECは決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、埋め込みの不確実性に基づいて適応アンサンブル重みを計算する。
  論文  参考訳（メタデータ） (2025-07-28T11:15:25Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts [8.298173603769063]
  分布シフト下における基礎モデルに基づくモデルの安定性について検討する。 我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。 その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-09T02:02:45Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。