論文の概要: TabPFN: One Model to Rule Them All?

• arxiv url: http://arxiv.org/abs/2505.20003v1
• Date: Mon, 26 May 2025 13:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.483107
• Title: TabPFN: One Model to Rule Them All?
• Title（参考訳）: TabPFN: すべてをルールする1つのモデル?
• Authors: Qiong Zhang, Yan Shuo Tan, Qinglong Tian, Pengfei Li,
• Abstract要約: 統計利用者に対して,TabPFNがどのように機能するかを整理した説明を提供する。 本稿では,TabPFNのアウト・オブ・ザ・ボックス適用が,最先端の特殊な手法よりもはるかに優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.658323618943697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hollmann et al. (Nature 637 (2025) 319-326) recently introduced TabPFN, a transformer-based deep learning model for regression and classification on tabular data, which they claim "outperforms all previous methods on datasets with up to 10,000 samples by a wide margin, using substantially less training time." Furthermore, they have called TabPFN a "foundation model" for tabular data, as it can support "data generation, density estimation, learning reusable embeddings and fine-tuning". If these statements are well-supported, TabPFN may have the potential to supersede existing modeling approaches on a wide range of statistical tasks, mirroring a similar revolution in other areas of artificial intelligence that began with the advent of large language models. In this paper, we provide a tailored explanation of how TabPFN works for a statistics audience, by emphasizing its interpretation as approximate Bayesian inference. We also provide more evidence of TabPFN's "foundation model" capabilities: We show that an out-of-the-box application of TabPFN vastly outperforms specialized state-of-the-art methods for semi-supervised parameter estimation, prediction under covariate shift, and heterogeneous treatment effect estimation. We further show that TabPFN can outperform LASSO at sparse regression and can break a robustness-efficiency trade-off in classification. All experiments can be reproduced using the code provided at https://github.com/qinglong-tian/tabpfn_study (https://github.com/qinglong-tian/tabpfn_study).
• Abstract（参考訳）: Hollmann et al (Nature 637 (2025) 319-326)は、最近TabPFNを導入した。TabPFNは、テーブルデータに基づく回帰と分類のためのトランスフォーマーベースのディープラーニングモデルで、彼らは「最大10,000のサンプルを持つデータセットに対して、ほぼ少ないトレーニング時間で、パフォーマンスを向上する」と主張している。 さらに彼らは、TabPFNを「データ生成、密度推定、再利用可能な埋め込み、微調整」をサポートするため、表データのための「基礎モデル」と呼んでいる。 これらのステートメントが十分に支持されている場合、TabPFNは、大規模な言語モデルの出現から始まった人工知能の他の領域における同様の革命を反映して、幅広い統計的なタスクにおける既存のモデリングアプローチに取って代わる可能性がある。 本稿では,その解釈を近似ベイズ推論として強調することにより,TabPFNが統計観衆に対してどのように機能するかを整理した説明を行う。 また,TabPFNの「基礎モデル」能力のさらなる証拠として,TabPFNのアウト・オブ・ザ・ボックス適用により,半教師付きパラメータ推定,共変量シフト下での予測,不均一な処理効果推定の専門的手法を大幅に上回ることを示す。 さらに,TabPFN は LASSO よりも低レグレッションで優れており,分類における堅牢性と効率のトレードオフを破ることができることを示す。 すべての実験はhttps://github.com/qinglong-tian/tabpfn_study (https://github.com/qinglong-tian/tabpfn_study)で提供されるコードを使って再現できる。

関連論文リスト

• A Closer Look at TabPFN v2: Strength, Limitation, and Extension [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、複数のデータセットにまたがる前例のないコンテキスト内学習の精度を達成する。 本稿では,300以上のデータセット上でTabPFN v2を評価し,中小規模タスクにおける例外的な一般化機能を確認する。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabPFN Unleashed: A Scalable and Effective Solution to Tabular Classification Problems [30.597696775364447]
  TabPFNは、有望なコンテキスト内学習モデルとして登場した。 ラベル付きトレーニング例からテストサンプルのラベルを直接予測することができる。 これは、特に小規模の分類タスクにおいて、競争力を発揮している。
  論文  参考訳（メタデータ） (2025-02-04T17:49:44Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
  FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
  論文  参考訳（メタデータ） (2024-06-11T02:13:46Z)
• Interpretable Machine Learning for TabPFN [5.012821694203072]
  TabPFNモデルは、様々な分類タスクで最先端のパフォーマンスを達成することができる。 モデルのユニークな性質を利用することで、我々の適応はより効率的な計算を可能にします。
  論文  参考訳（メタデータ） (2024-03-16T13:35:15Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。