論文の概要: TabPFN Unleashed: A Scalable and Effective Solution to Tabular Classification Problems

• arxiv url: http://arxiv.org/abs/2502.02527v1
• Date: Tue, 04 Feb 2025 17:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:57:27.614135
• Title: TabPFN Unleashed: A Scalable and Effective Solution to Tabular Classification Problems
• Title（参考訳）: TabPFNが公開: 語彙分類問題に対するスケーラブルで効果的な解決法
• Authors: Si-Yang Liu, Han-Jia Ye,
• Abstract要約: TabPFNは、有望なコンテキスト内学習モデルとして登場した。 ラベル付きトレーニング例からテストサンプルのラベルを直接予測することができる。 これは、特に小規模の分類タスクにおいて、競争力を発揮している。
• 参考スコア（独自算出の注目度）: 30.597696775364447
• License:
• Abstract: TabPFN has emerged as a promising in-context learning model for tabular data, capable of directly predicting the labels of test samples given labeled training examples. It has demonstrated competitive performance, particularly on small-scale classification tasks. However, despite its effectiveness, TabPFN still requires further refinement in several areas, including handling high-dimensional features, aligning with downstream datasets, and scaling to larger datasets. In this paper, we revisit existing variants of TabPFN and observe that most approaches focus either on reducing bias or variance, often neglecting the need to address the other side, while also increasing inference overhead. To fill this gap, we propose Beta (Bagging and Encoder-based Fine-tuning for TabPFN Adaptation), a novel and effective method designed to minimize both bias and variance. To reduce bias, we introduce a lightweight encoder to better align downstream tasks with the pre-trained TabPFN. By increasing the number of encoders in a lightweight manner, Beta mitigate variance, thereby further improving the model's performance. Additionally, bootstrapped sampling is employed to further reduce the impact of data perturbations on the model, all while maintaining computational efficiency during inference. Our approach enhances TabPFN's ability to handle high-dimensional data and scale to larger datasets. Experimental results on over 200 benchmark classification datasets demonstrate that Beta either outperforms or matches state-of-the-art methods.
• Abstract（参考訳）: TabPFNは、ラベル付きトレーニング例からテストサンプルのラベルを直接予測することのできる、表形式のデータのための有望なコンテキスト内学習モデルとして登場した。 これは、特に小規模の分類タスクにおいて、競争力を発揮している。 しかし、その有効性にもかかわらず、TabPFNは、高次元機能の処理、下流データセットとの整合性、より大きなデータセットへのスケーリングなど、いくつかの領域でさらなる改善を必要としている。 本稿では,既存のTabPFNの変種を再検討し,ほとんどのアプローチがバイアスや分散の低減に重点を置いていることを観察する。 このギャップを埋めるために、バイアスと分散の両面を最小化するために設計された、新しい効果的な手法であるベータ(Bagging and Encoder-based Fine-tuning for TabPFN Adaptation)を提案する。 バイアスを低減するために、下流タスクとトレーニング済みのTabPFNとの整合性を向上する軽量エンコーダを導入する。 軽量な方法でエンコーダの数を増やすことにより、ベータは分散を緩和し、モデルの性能をさらに向上する。 さらに、推論中の計算効率を維持しながら、データ摂動がモデルに与える影響をさらに軽減するために、ブートストラップサンプリングが使用される。 我々のアプローチは、TabPFNの高次元データ処理能力を高め、より大きなデータセットにスケールする。 200以上のベンチマーク分類データセットの実験結果から、Betaはパフォーマンスに優れるか、最先端のメソッドと一致していることが示された。

関連論文リスト

• Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
  本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。 APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。 筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
  論文  参考訳（メタデータ） (2025-02-06T23:58:11Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
  FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
  論文  参考訳（メタデータ） (2024-06-11T02:13:46Z)
• Interpretable Machine Learning for TabPFN [5.012821694203072]
  TabPFNモデルは、様々な分類タスクで最先端のパフォーマンスを達成することができる。 モデルのユニークな性質を利用することで、我々の適応はより効率的な計算を可能にします。
  論文  参考訳（メタデータ） (2024-03-16T13:35:15Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [5.352699766206807]
  アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する 自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。 本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-01T03:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。