論文の概要: Beyond Foundation Models: PFN Priors Improve Tabular Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2611.05141v1
• Date: Tue, 03 Nov 2026 16:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:10:17.378278
• Title: Beyond Foundation Models: PFN Priors Improve Tabular Hyperparameter Optimization
• Title（参考訳）: 基礎モデルを超えて: PFNはタブラルハイパーパラメータ最適化を改善する
• Abstract要約: 合成タスクのみにハイパーパラメータ設定をメタチューニングする手法であるPredorTuneを提案する。 オンラインでは、新しいデータセットは選択した設定にのみ適合するため、追加のコストがかからない。 BeyondArenaの完全なベンチマークでは、TabPrepのLightGBMがTabPFN-3とRealMLPの上位に位置する。
• 参考スコア（独自算出の注目度）: 19.451601711624793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic priors have so far served one purpose: pretraining tabular foundation models. We ask whether the same priors can improve conventional tabular models, which are trained from scratch on each dataset. We propose PriorTune, a method that meta-tunes hyperparameter configurations on synthetic tasks alone. Offline, for a given model, we fit a pool of configurations on datasets sampled from a published PFN prior and greedily select the subset with the highest winrate over the random baseline. Online, a new dataset fits only the selected configurations, so the gain comes at no extra cost. Empirically, we observe that scaling both the number of configurations and synthetic datasets has an equal scaling effect on the performance of the final subset of configurations, which we also explain theoretically. On the full BeyondArena benchmark, LightGBM with TabPrep features with our configurations ranks above TabPFN-3 and RealMLP, while being much more efficient at inference. Overall, our results establish existing PFN priors as a scalable source of meta-training data for hyperparameter selection for non-foundational tabular models.
• Abstract（参考訳）: 合成の先駆者は、これまで1つの目的、すなわち表形式の基礎モデルを事前訓練してきた。 我々は、データセットごとにスクラッチからトレーニングされた従来の表形式モデルを改善することができるかどうかを問う。 合成タスクのみにハイパーパラメータ設定をメタチューニングする手法であるPredorTuneを提案する。 オフラインでは、あるモデルに対して、公開済みのPFNからサンプリングされたデータセットに設定のプールを適合させ、ランダムなベースラインよりも高い利率のサブセットを優しく選択する。 オンラインでは、新しいデータセットは選択した設定にのみ適合するため、追加のコストがかからない。 経験的に,構成数と合成データセットのスケーリングが,構成の最終サブセットの性能に等しいスケーリング効果をもたらすことが観察され,理論的に説明される。 BeyondArenaの完全なベンチマークでは、TabPrepを備えたLightGBMがTabPFN-3とRealMLPより上位にランクされています。 以上の結果から,既存のPFNプリエントを,非境界グラフモデルに対するハイパーパラメータ選択のための拡張性のあるメタトレーニングデータ源として確立した。

関連論文リスト

• Towards Evaluating Data Priors for Tabular Foundation Models [74.75794086564035]
  我々は、実際のデータセットから構築された公開事前および事前の統一インターフェースを実装している。 我々は、事前からトレーニングタスクを生成し、同じモデルアーキテクチャを固定されたトレーニングプロトコルでトレーニングし、共有下流分類タスクで得られたモデルを評価する。 以上の結果から,より強い絶対性能を達成できるものや,データセット間の相対的ランキングの一貫性が向上するものもある。
  論文  参考訳（メタデータ） (2026-06-28T07:12:45Z)
• One Sequential Recommendation Model Pretrained from Synthetic Priors Predicts Multiple Datasets [30.22142935273037]
  逐次レコメンデーションのための事前データフィットネットワークであるSRPFNを提案する。 SRPFNは、1つのフォワードパスにおける次の項目を、ターゲットドメインの勾配ベースのパラメータ更新なしで予測する。
  論文  参考訳（メタデータ） (2026-06-14T11:28:32Z)
• Mind the Gap? A Distributional Comparison of Real and Synthetic Priors for Tabular Foundation Models [7.124188498356204]
  タブラル基礎モデルは、ベンチマークリポジトリから収集されたキュレートデータセット、Webから大規模に収集されたテーブル、パラメトリック生成前のデータからサンプリングされた合成テーブルの3つのクラスのうちの1つで事前訓練されている。 この作業では、表層基礎モデルのトレーニングに使用される3つの標準的アーキティパルデータセットを取ります。 各コーパスは, テーブル全体, 列, 相関関係の集合的特徴を用いて特徴付け, 識別器AUCとk-NNのカバレッジ指標を用いて比較する。 我々は、TabICL合成前は実テーブルの空間の狭い領域を占めており、このミスマッチは事前の最適化によっては閉じられないことを発見した。
  論文  参考訳（メタデータ） (2026-05-07T14:29:31Z)
• Depth Completion as Parameter-Efficient Test-Time Adaptation [66.72360181325877]
  CAPAはパラメータ効率のよいテスト時間最適化フレームワークであり、深度補完のために事前訓練された3D基礎モデル(FM)を適用する。 ビデオの場合、CAPAはシーケンスレベルのパラメータ共有を導入し、時間的相関を利用して、堅牢性を改善し、複数フレームの一貫性を強制するために、すべてのフレームを共同で適用する。
  論文  参考訳（メタデータ） (2026-02-16T13:53:23Z)
• TabICLv2: A better, faster, scalable, and open tabular foundation model [18.594859017648346]
  3つの柱上に構築された回帰と分類のための新しい最先端基盤モデルであるTabICLv2を紹介する。 Tabiclv2は、50GBのGPUメモリ下での百万規模のデータセットを効果的に一般化し、RealTabPFN-2.5よりも著しく高速である。
  論文  参考訳（メタデータ） (2026-02-11T18:51:02Z)
• Robust Tabular Foundation Models [0.7539295827164078]
  重要な発見は、TFMは完全に合成データセット上で事前訓練可能であることである。 TFM性能と最高の達成可能な性能の差から得られる最適性ギャップ尺度を導入する。 これらの結果は、合成データのみを用いて、ターゲットとなる敵の訓練とTFMの微調整のための有望な新しいデータセットを浮き彫りにした。
  論文  参考訳（メタデータ） (2025-12-02T23:40:39Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。