論文の概要: TabPFN-MT: A Natively Multitask In-Context Learner for Tabular Data

• arxiv url: http://arxiv.org/abs/2605.20234v1
• Date: Sat, 16 May 2026 15:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.219549
• Title: TabPFN-MT: A Natively Multitask In-Context Learner for Tabular Data
• Title（参考訳）: TabPFN-MT - タブラルデータのためのネイティブマルチタスクインコンテキスト学習システム
• Authors: Cormac Cureton, Narges Armanfard,
• Abstract要約: TabPFN-MTは、タスク間の依存関係をコンテキスト内でキャプチャする前に、拡張されたマルチターゲット合成でトレーニングされる。 コンテキスト内学習を頼りにすることで、小規模から中小規模のデータセットに特化している。 総合的な精度は4.89で、テストされた全てのモデルの中では最高である。
• 参考スコア（独自算出の注目度）: 8.150109591980108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior-Data Fitted networks (PFNs) have been very successful in tabular contexts, handling prediction tasks in context. However, they are designed for single-task inference, meaning that predicting several target values within a context requires repeated forward calls and precludes inter-task information sharing. We propose TabPFN-MT, which is trained on an expanded multi-target synthetic prior to capture inter-task dependencies in context. This model uses an expanded $y$-encoder and a shared decoder head to enable multitask in-context learning and simultaneous inference. The model is uniquely specialized for small-to-medium datasets by relying on in-context learning rather than traditional gradient-based training. Within this regime (averaging fewer than 1,000 samples), extensive evaluations across 344 datasets demonstrate that TabPFN-MT establishes a new state-of-the-art for deep tabular multitask learning. Furthermore, despite the inherent compute asymmetry of joint optimization, our model remains highly competitive with the latest state-of-the-art single-task ensembles. Notably, on multitask datasets it achieves an overall Accuracy rank of 4.89, the highest average rank among all models tested. Crucially, TabPFN-MT delivers this highly competitive performance while reducing the inference cost for $T$ tasks from $O(T)$ to $O(1)$ forward passes, offering a massive computational efficiency improvement for multi-target tabular applications.
• Abstract（参考訳）: Prior-Data Fitted Network (PFN) は、表形式のコンテキストにおいて、コンテキストでの予測タスクの処理において非常に成功している。 しかし、それらはシングルタスク推論のために設計されており、コンテキスト内でいくつかのターゲット値を予測するには、繰り返しのフォワードコールが必要であり、タスク間の情報共有を妨げている。 本研究では,TabPFN-MTを提案する。TabPFN-MTは,タスク間の依存関係をコンテキスト内でキャプチャするために,拡張されたマルチターゲット合成に基づいて訓練される。 このモデルは拡張された$y$-encoderと共有デコーダヘッドを使用して、マルチタスクのコンテキスト内学習と同時推論を可能にする。 このモデルは、従来の勾配に基づくトレーニングではなく、コンテキスト内学習に頼ることで、小規模から中級のデータセットに特化している。 この体制(1,000点未満のサンプル)の中で、344のデータセットにわたる広範な評価は、TabPFN-MTが深い表層マルチタスク学習のための新しい最先端技術を確立していることを示している。 さらに、関節最適化の本質的に計算非対称性にもかかわらず、我々のモデルは最新の最先端のシングルタスクアンサンブルと高い競争力を保っている。 特に、マルチタスクデータセットでは、テストされたすべてのモデルの中で最高位である4.89の総合的正確度ランクを達成している。 重要なことに、TabPFN-MTは、この非常に競争力のあるパフォーマンスを提供すると同時に、$T$タスクの推論コストを$O(T)$から$O(1)$フォワードパスに削減し、マルチターゲットの表型アプリケーションに対する膨大な計算効率の改善を提供する。

関連論文リスト

• StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets [14.867396697566257]
  部分学習のセットアップをゼロショット設定に拡張し、複数のデータセット上でマルチタスクモデルをトレーニングします。 我々の方法であるStableMTLは、遅延回帰のために画像生成装置を再利用する。 タスク毎の損失に対して、注意深いバランスを必要とするのではなく、統一された潜伏損失を採用し、より多くのタスクにシームレスなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-06-09T17:59:59Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• $\pi$-Tuning: Transferring Multimodal Foundation Models with Optimal Multi-task Interpolation [30.551283402200657]
  $pi$-Tuningは、視覚、言語、視覚言語タスクのための普遍的なパラメータ効率の伝達学習手法である。 ターゲットの下流タスクを支援するために、同様のタスクから学んだ軽量なタスク固有の専門家のパラメータを集約する。
  論文  参考訳（メタデータ） (2023-04-27T17:49:54Z)
• Multi-task Active Learning for Pre-trained Transformer-based Models [22.228551277598804]
  複数のタスクをひとつのモデルで共同で学習するマルチタスク学習により、NLPモデルは複数のアノテーションから情報を共有することができる。 このテクニックでは、コストがかかり、面倒な複数のアノテーションスキームで同じテキストに注釈を付ける必要がある。 アクティブラーニング(AL)は、ラベルなし例を反復的に選択することで、アノテーションプロセスの最適化を実証している。
  論文  参考訳（メタデータ） (2022-08-10T14:54:13Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。