論文の概要: End-to-End Compression for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2602.05649v1
• Date: Thu, 05 Feb 2026 13:33:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.94791
• Title: End-to-End Compression for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルのエンドツーエンド圧縮
• Authors: Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka,
• Abstract要約: 本稿では,学習データセットを潜在空間で圧縮するエンドツーエンド圧縮モデルTACOを提案する。 提案手法は推論時間で最大94倍高速で、最大97%のメモリを消費するTabArenaベンチマークでテストした。
• 参考スコア（独自算出の注目度）: 20.50130399990578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The long-standing dominance of gradient-boosted decision trees for tabular data has recently been challenged by in-context learning tabular foundation models. In-context learning methods fit and predict in one forward pass without parameter updates by leveraging the training data as context for predicting on query test points. While recent tabular foundation models achieve state-of-the-art performance, their transformer architecture based on the attention mechanism has quadratic complexity regarding dataset size, which in turn increases the overhead on training and inference time, and limits the capacity of the models to handle large-scale datasets. In this work, we propose TACO, an end-to-end tabular compression model that compresses the training dataset in a latent space. We test our method on the TabArena benchmark, where our proposed method is up to 94x faster in inference time, while consuming up to 97\% less memory compared to the state-of-the-art tabular transformer architecture, all while retaining performance without significant degradation. Lastly, our method not only scales better with increased dataset sizes, but it also achieves better performance compared to other baselines.
• Abstract（参考訳）: 表層データに対する勾配ブースト決定木の長期的優位性は、最近、テキスト内学習の表層基盤モデルによって問題視されている。 In-context Learning method fit and predict in one forward pass without parameter updates by leverage the training data as context for predicting on query test points。 最近の表形式の基盤モデルは、最先端のパフォーマンスを実現する一方で、アテンション機構に基づくトランスフォーマーアーキテクチャは、データセットサイズに関して2次的な複雑さを持つため、トレーニングと推論時間のオーバーヘッドが増大し、大規模なデータセットを扱うためのモデルの容量が制限される。 本研究では,学習データセットを潜在空間で圧縮するエンドツーエンドの表計算圧縮モデルTACOを提案する。 提案手法は推定時間で最大94倍高速であるのに対して,提案手法は最先端のタブラトランスアーキテクチャと比較して最大97倍のメモリを消費し,性能を著しく低下させることなく維持する。 最後に,本手法はデータセットサイズを増大させるだけでなく,他のベースラインと比較して性能も向上する。

関連論文リスト

• TabArena: A Living Benchmark for Machine Learning on Tabular Data [45.52876263971067]
  本研究では,最初の持続的リビングベンチマークシステムであるTabArenaを紹介する。 我々は、データセットとよく実装されたモデルの代表的なコレクションを手動でキュレートする。 深層学習の手法は、より大規模な時間予算とアンサンブルに支えられていることを示す。 いくつかの深層学習モデルは、オーバーフィットした検証セットのため、クロスモデルアンサンブルで過剰に表現されている。
  論文  参考訳（メタデータ） (2025-06-20T07:14:48Z)
• On Finetuning Tabular Foundation Models [29.76586200178702]
  TabPFNv2は、小規模データセット上の従来のGBDTベースのメソッドよりも優れたパフォーマンスを主張する。 多様なデータセットに対してTabPFNv2の様々な微調整戦略を評価する。 実験対象の問合せ表現の点生成物は, 勾配適応後, 目標の類似性をより正確に反映していることから, 微調整の成功が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T16:52:31Z)
• Byte Latent Transformer: Patches Scale Better Than Tokens [101.10994909832063]
  Byte Latent Transformer (BLT) はバイトを動的サイズのパッチにエンコードする。 固定推論コストに対して、BLTはパッチとモデルサイズの両方を同時に拡大することにより、トークン化ベースのモデルよりもはるかに優れたスケーリングを示している。
  論文  参考訳（メタデータ） (2024-12-13T05:33:32Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [78.61845513154502]
  広い範囲にまたがる300以上のデータセットの集合であるTALENTについて広範な研究を行った。 我々の評価では、アンサンブルは木に基づくアプローチとニューラルアプローチの両方に効果があることが示されている。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Retrieval & Fine-Tuning for In-Context Tabular Models [16.668695961462827]
  トランスフォーマーベースのインコンテキスト学習を用いた最近の進歩は、より小さく、より複雑でないデータセットを約束しているが、より大きく、より複雑なデータセットにスケールするのに苦労している。 検索と微調整の組み合わせを提案する: 近接する近隣住民を収集することで、変換器をデータの局所的なサブセットに適応させ、その周辺住民の状況に応じてタスク固有の微調整を行うことができる。 テキスト内モデルと比較すると,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-07T18:43:33Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。