論文の概要: When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach
- arxiv url: http://arxiv.org/abs/2605.19662v1
- Date: Tue, 19 May 2026 10:55:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.287006
- Title: When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach
- Title(参考訳): Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach
- Abstract要約: 事前学習型事前データ適合ネットワーク(PFN)に基づくタブラル基礎モデル
戦略的操作は、事前訓練中に学んだ非戦略的事前学習と後管理的戦略的事前学習のミスマッチを生じさせることを示す。
推論時戦略対応フレームワークであるtextbfStrategic Prior-data Fitted Networktextit(SPN)を提案する。
- 参考スコア(独自算出の注目度): 80.24372450818323
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Tabular foundation models based on pretrained prior-data fitted networks~(PFNs) have shown strong generalization on diverse tabular tasks, but they are typically designed for \emph{non-strategic} settings where data distributions are independent of deployed classifiers. In many real-world decision scenarios, however, individuals may strategically modify their features after deployment to obtain favorable outcomes, inducing a post-deployment distribution shift. This paper studies whether PFN-style tabular foundation models can generalize to such \emph{strategic} tabular data. We show that strategic manipulation creates a mismatch between the non-strategic prior learned during pretraining and the post-manipulation strategic prior, which leads to systematic prediction bias. To address this issue, we propose \textbf{Strategic Prior-data Fitted Network}~\textit{(SPN)}, an inference-time strategy-aware framework that adapts tabular foundation models to strategic environments without retraining. SPN constructs strategic in-context examples to approximate post-manipulation inputs and aligns PFN predictions with the induced strategic distribution. Experiments on real-world and synthetic tabular datasets show that SPN consistently improves robustness and predictive performance under strategic manipulation compared with both tabular foundation models and classical tabular methods.
- Abstract(参考訳): 事前訓練された事前データ適合ネットワーク~(PFN)に基づくタブラル基礎モデルは、多種多様な表計算タスクを強く一般化したものの、データ分布がデプロイされた分類器とは独立であるような \emph{non-strategic} 設定のために設計されている。
しかし、現実の多くの意思決定シナリオでは、個人はデプロイメント後の機能を戦略的に修正して良好な結果を得ることができ、デプロイ後の分散シフトが引き起こされる。
本稿では,PFNスタイルの表層基礎モデルがこのような表層データに一般化できるかどうかを考察する。
戦略的操作は、事前訓練中に学んだ非戦略的事前学習と、運用後の戦略的事前学習のミスマッチを生じさせ、体系的な予測バイアスをもたらすことを示す。
この問題に対処するために,表層基盤モデルを戦略環境に適応させる推論時戦略対応フレームワークである \textbf{Strategic Prior-data Fitted Network}~\textit{(SPN)} を提案する。
SPNは、操作後の入力を近似するために、戦略的インコンテキストの例を構築し、PFN予測を誘導された戦略分布と整合させる。
実世界の表層データセットと合成表層データセットの実験により、SPNは表層基盤モデルと古典表層手法の両方と比較して、戦略的操作下での堅牢性と予測性能を一貫して改善することが示された。
関連論文リスト
- Reinforcement Learning Foundation Models Should Already Be A Thing [0.4640835690336653]
言語と視覚の基盤モデルはインターネット規模のデータによって駆動され、構造化されたドメインは合成データによって駆動される。
この代替品は、チャレンジをコレクションから以前のデザインにシフトさせる。
グラフアテンションネットワークを完全に合成MDPでトレーニングし、タスク固有のチューニングなしでは、コンテキスト内のホールドアウトベンチマークを解決できることを示します。
論文 参考訳(メタデータ) (2026-06-17T08:27:27Z) - Tabular Foundation Model for Generative Modelling [34.3599321018728]
生成モデリングは、教師付き予測対象のみを最適化するのではなく、与えられたデータモダリティに対して堅牢で全体論的表現学習を必要とする。
既存の表形式のファンデーションジェネレータは、合成データ品質において、強力なデータセット固有のジェネレータと一貫して一致していない。
事前訓練されたtextbfTabular textbffoundational textbfRepresentation for textbfGEneration 上に構築した TabFORGE を紹介する。
論文 参考訳(メタデータ) (2026-05-10T08:52:28Z) - Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。
Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
論文 参考訳(メタデータ) (2025-10-24T07:15:06Z) - Self-Rewarding PPO: Aligning Large Language Models with Demonstrations Only [70.43369087819332]
Supervised Fine-tuning (SFT) は、大規模な言語モデルと人間のアノテーションによる実演を整合させる重要な方法として登場した。
本稿では, 自己回帰型PPOを提案する。
論文 参考訳(メタデータ) (2025-10-24T02:02:13Z) - Plan before Solving: Problem-Aware Strategy Routing for Mathematical Reasoning with LLMs [49.995906301946]
既存の手法は通常、数学的推論を行うためにLLM(Large Language Models)をガイドするための固定戦略を利用する。
分析の結果,単一戦略は問題固有の要件に適応できず,有効性と効率性のトレードオフを見落としていることが明らかとなった。
本稿では,PRISM(Planning and Routing through Instance-Specific Modeling)を提案する。
論文 参考訳(メタデータ) (2025-09-29T07:22:41Z) - In-Context Learning Strategies Emerge Rationally [36.21854069812912]
タスクの混合を学習する訓練を行うと、ICLの実行モデルによって学習された戦略がベイズ予測器のファミリーによって捕捉されることを示す。
我々は、トレーニングを通してTransformerの次なる予測をほぼ完全に予測する階層型ベイズフレームワークを開発した。
我々の研究は、戦略損失と複雑性の間のトレードオフを基礎としたICLの説明的かつ予測的な説明を前進させます。
論文 参考訳(メタデータ) (2025-06-21T23:49:08Z) - Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard [27.224577475861214]
機械学習の基本的なデータフォーマットであるタブラルデータは、競争や現実世界のアプリケーションで主に利用されている。
本研究では,大規模言語モデルを活用したテキスト内アンサンブルフレームワークを提案する。
提案手法は,各テストインスタンスの周囲のコンテキストを,その近傍と外部モデルのプールからの予測を用いて構築する。
論文 参考訳(メタデータ) (2025-05-19T17:52:58Z) - Step-wise Distribution Alignment Guided Style Prompt Tuning for Source-free Cross-domain Few-shot Learning [53.77707279483278]
クロスドメインの少数ショット学習手法は、アクセス不能なソースデータとトレーニング戦略により、大規模事前学習モデルの課題に直面している。
本稿では,ステップワイド配向ガイド型プロンプトチューニング(StepSPT)を紹介する。
StepSPTは予測分布最適化を通じて暗黙的にドメインギャップを狭める。
論文 参考訳(メタデータ) (2024-11-15T09:34:07Z) - Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。
この問題に対処するための構成戦略を提案する。
構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
論文 参考訳(メタデータ) (2022-02-20T02:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。