論文の概要: TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

• arxiv url: http://arxiv.org/abs/2502.05564v1
• Date: Sat, 08 Feb 2025 13:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:34.939815
• Title: TabICL: A Tabular Foundation Model for In-Context Learning on Large Data
• Title（参考訳）: TabICL:大規模データを用いた文脈学習のための語彙基礎モデル
• Authors: Jingang Qu, David Holzmüller, Gaël Varoquaux, Marine Le Morvan,
• Abstract要約: 最大60Kのサンプルを持つ合成データセットで事前訓練された分類のための基礎モデルであるTabICLを紹介する。 TabPFNv2と同等で、体系的に(最大10倍)高速であり、他のすべてのアプローチよりも大幅に優れています。 10K以上のサンプルを持つ56のデータセットで、TabICLはTabPFNv2とCatBoostを上回り、大規模データに対するICLの可能性を示している。
• 参考スコア（独自算出の注目度）: 15.08819125687632
• License:
• Abstract: The long-standing dominance of gradient-boosted decision trees on tabular data is currently challenged by tabular foundation models using In-Context Learning (ICL): setting the training data as context for the test data and predicting in a single forward pass without parameter updates. While the very recent TabPFNv2 foundation model (2025) excels on tables with up to 10K samples, its alternating column- and row-wise attentions make handling large training sets computationally prohibitive. So, can ICL be effectively scaled and deliver a benefit for larger tables? We introduce TabICL, a tabular foundation model for classification, pretrained on synthetic datasets with up to 60K samples and capable of handling 500K samples on affordable resources. This is enabled by a novel two-stage architecture: a column-then-row attention mechanism to build fixed-dimensional embeddings of rows, followed by a transformer for efficient ICL. Across 200 classification datasets from the TALENT benchmark, TabICL is on par with TabPFNv2 while being systematically faster (up to 10 times), and significantly outperforms all other approaches. On 56 datasets with over 10K samples, TabICL surpasses both TabPFNv2 and CatBoost, demonstrating the potential of ICL for large data.
• Abstract（参考訳）: In-Context Learning (ICL) を用いて、トレーニングデータをテストデータのコンテキストとして設定し、パラメータを更新せずに単一のフォワードパスで予測する。 非常に最近のTabPFNv2ファウンデーションモデル(2025)は最大10Kサンプルのテーブル上では優れているが、列と行の異なる注意が大きなトレーニングセットの処理を計算的に禁止している。 では、ICLを効果的にスケールして、より大きなテーブルにメリットを提供できるだろうか? 本研究では,最大60Kサンプルの合成データセットを事前学習し,手頃なリソースで500Kサンプルを処理可能なタブ形式の分類基盤モデルであるTabICLを紹介する。 これは、行の固定次元埋め込みを構築するカラム-then-rowアテンション機構と、効率的なICLのためのトランスフォーマーの2段階アーキテクチャによって実現されている。 TALENTベンチマークの200を越える分類データセットでは、TabICLはTabPFNv2と同等であり、体系的に高速(最大10倍)で、他のアプローチよりも大幅に優れています。 10K以上のサンプルを持つ56のデータセットで、TabICLはTabPFNv2とCatBoostを上回り、大規模データに対するICLの可能性を示している。

関連論文リスト

• Transformers Boost the Performance of Decision Trees on Tabular Data across Sample Sizes [135.68092471784516]
  本稿では,大規模言語モデルと勾配ブースト決定木を融合させる,シンプルで軽量な手法を提案する。 融合法を LLM-Boost と PFN-Boost と命名した。 多数のベースラインとアンサンブルアルゴリズムに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T19:30:41Z)
• TabDPT: Scaling Tabular Foundation Models [20.00390825519329]
  実データによる性能向上と一般化の方法を示す。 本モデルでは,CC18(分類)およびCTR23(回帰)ベンチマークの最先端性能を実現する。 TabDPTはまた、モデルのサイズと利用可能なデータの量の両方が増加するにつれて、強力なスケーリングを示す。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• Mixture of In-Context Prompters for Tabular PFNs [33.76194735049027]
  MIXTUREPFNは、36の多様なデータセットに対して、19の強力なディープラーニングとツリーベースのベースラインに対して、Condorcetの勝者である。 上記のアルゴリズムのうち、統計的に有意な上位10位を達成している。
  論文  参考訳（メタデータ） (2024-05-25T09:47:59Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• In-Context Data Distillation with TabPFN [11.553950697974825]
  In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。 ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
  論文  参考訳（メタデータ） (2024-02-10T15:23:45Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Scientific evidence extraction [0.0]
  我々は新しいデータセットである Tables One Million (PubTables-1M) と新しいメトリクスのクラスである PubMed grid table similarity (GriTS) を提案する。 PubTables-1Mは、これまでで最大のデータセットの約2倍の大きさである。 PubTables-1Mでトレーニングしたオブジェクト検出モデルは,検出,構造認識,機能解析の3つのタスクすべてに対して,アウト・オブ・ザ・ボックスで優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-30T19:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。