論文の概要: Chunked TabPFN: Exact Training-Free In-Context Learning for Long-Context Tabular Data
- arxiv url: http://arxiv.org/abs/2509.00326v1
- Date: Sat, 30 Aug 2025 02:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.178654
- Title: Chunked TabPFN: Exact Training-Free In-Context Learning for Long-Context Tabular Data
- Title（参考訳）: Chunked TabPFN:ロングコンテキストタブラリデータのための訓練不要なインコンテキスト学習
- Authors: Renat Sergazinov, Shao-An Yin,
- Abstract要約: TabPFN v2は、いくつかのベンチマークでツリーベースのモデルよりも優れた結果が得られる。
本稿では,TabPFNフレームワーク内での注目度を計算するために,テキストバッフルブロック方式を提案する。
- 参考スコア（独自算出の注目度）: 2.2682391370097794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: TabPFN v2 achieves better results than tree-based models on several tabular benchmarks, which is notable since tree-based models are usually the strongest choice for tabular data. However, it cannot handle more than 10K context tokens because transformers have quadratic computation and memory costs. Unlike existing approaches that rely on context compression, such as selecting representative samples via K-nearest neighbors (KNN), we introduce a \textbf{tiled-block} strategy to compute attention within the TabPFN framework. This design is compatible with standard GPU setups and, to the best of our knowledge, is the first to enable TabPFN to \textbf{process long contexts without any pre-processing}. We demonstrate the effectiveness of our approach on the standard TabArena benchmark.
- Abstract（参考訳）: TabPFN v2は、いくつかの表型ベンチマークでツリーベースのモデルよりも優れた結果が得られる。
しかし、変換器は2次計算とメモリコストがあるため、10K以上のコンテキストトークンを扱うことはできない。
K-nearest neighbors (KNN)による代表サンプルの選択など、コンテキスト圧縮に依存する既存のアプローチとは異なり、TabPFNフレームワーク内での注目度を計算するために、textbf{tiled-block}戦略を導入する。
この設計は標準のGPUセットアップと互換性があり、私たちの知る限り、TabPFNを事前処理なしでtextbf{process long contextsにできるのは初めてです。
標準TabArenaベンチマークにおいて,提案手法の有効性を示す。
関連論文リスト
- A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳（メタデータ） (2025-02-24T17:38:42Z) - TabICL: A Tabular Foundation Model for In-Context Learning on Large Data [15.08819125687632]
最大60Kサンプルの合成データセットを事前学習した表層ベースモデルであるTabICLを導入する。
TALENTベンチマークから200を越える分類データセットのうち、TabICLはTabPFNv2と同等であり、体系的に高速(最大10倍)である。
10K以上のサンプルを持つ53のデータセットで、TabICLはTabPFNv2とCatBoostを上回り、大規模データに対するICLの可能性を示している。
論文 参考訳（メタデータ） (2025-02-08T13:25:04Z) - Transformers Boost the Performance of Decision Trees on Tabular Data across Sample Sizes [135.68092471784516]
本稿では,大規模言語モデルと勾配ブースト決定木を融合させる,シンプルで軽量な手法を提案する。
融合法を LLM-Boost と PFN-Boost と命名した。
多数のベースラインとアンサンブルアルゴリズムに対して最先端の性能を示す。
論文 参考訳（メタデータ） (2025-02-04T19:30:41Z) - Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。
私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
論文 参考訳（メタデータ） (2024-06-11T02:13:46Z) - TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。
我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。
我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
論文 参考訳（メタデータ） (2024-02-17T00:02:23Z) - In-Context Data Distillation with TabPFN [11.553950697974825]
In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。
ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
論文 参考訳（メタデータ） (2024-02-10T15:23:45Z) - TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second [48.87527918630822]
トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。
TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。
提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
論文 参考訳（メタデータ） (2022-07-05T07:17:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。