Towards Evaluating Data Priors for Tabular Foundation Models
Abstractの概要
本論文は、表形式基盤モデルにおけるデータ生成事前分布（data-generating priors）を、元のアーキテクチャや学習手順と結びつけて評価するのではなく、独立した要素として研究している。著者らは、TabPFNv1、TabICL、TICL、TabForestPFNの一般公開されている事前分布や、キュレーションされた実データセットから構築された事前分布を包含する統一インターフェースを実装し、共通のセットアップ下で各事前分布からタスクを生成する。事前分布ごとに25万タスクに対して同じnanoTabPFNアーキテクチャを固定プロトコルで学習させ、得られたモデルを共通のTabArena分類ベンチマークで評価した。分析では、生成タスクの統計量と下流のROC-AUCの挙動の両方から事前分布を比較し、さらにデータの類似性が性能の類似性とどのように関連するかを検証している。
新規性
主な新規性は、表形式基盤モデルにおいて、データ事前分布の影響をモデルアーキテクチャや最適化過程から分離して評価する制御された評価パイプラインにある。また、公開されている複数の合成事前分布と実データ事前分布を、単一のタスク生成・評価インターフェースの下で統合している点も特徴的である。
成果
実験により、アーキテクチャや学習予算が一定であっても、事前分布の選択が下流の挙動を変化させることが示された。TICLが最も高い単純平均ROC-AUCと最多のデータセットでの勝利数を達成した一方、tabicl_mix_scmは最良の平均ランクと最も強い正規化データセット内競争力を示した。また、データレベルの類似性は下流タスクでの性能の類似性を部分的にしか予測せず、ランダムにターゲットを選択する実データ事前分布が、デフォルトのターゲットのみを使用する場合よりもはるかに優れた性能を発揮することも判明した。
論文の注目点
- 同一のモデルアーキテクチャ、学習プロトコル、下流評価タスクの下で、表形式データの事前分布を比較するための統一ベンチマークパイプラインを導入した。
- 事前分布が異なれば性能プロファイルも異なり、すべての評価基準において最適な単一の事前分布は存在せず、データセットごとの事前分布選択に対する感度も異なる。
- 生成されたタスクと実際のデータの間の統計的な類似性は、下流での成功を完全に決定するものではなく、タスクの多様性や生成時の選択も重要である。