論文の概要: iLTM: Integrated Large Tabular Model

• arxiv url: http://arxiv.org/abs/2511.15941v1
• Date: Thu, 20 Nov 2025 00:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.40312
• Title: iLTM: Integrated Large Tabular Model
• Title（参考訳）: iLTM: 統合大語彙モデル
• Authors: David Bonet, Marçal Comajoan Cara, Alvaro Calafell, Daniel Mas Montserrat, Alexander G. Ioannidis,
• Abstract要約: iLTMは、木由来の埋め込み、次元に依存しない表現、メタトレーニングされたハイパーネットワーク、多層パーセプトロン、単一のアーキテクチャ内での検索を統一する統合された大型タブラルモデルである。
• 参考スコア（独自算出の注目度）: 41.81329403540607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data underpins decisions across science, industry, and public services. Despite rapid progress, advances in deep learning have not fully carried over to the tabular domain, where gradient-boosted decision trees (GBDTs) remain a default choice in practice. We present iLTM, an integrated Large Tabular Model that unifies tree-derived embeddings, dimensionality-agnostic representations, a meta-trained hypernetwork, multilayer perceptrons (MLPs), and retrieval within a single architecture. Pretrained on more than 1,800 heterogeneous classification datasets, iLTM achieves consistently superior performance across tabular classification and regression tasks, from small datasets to large and high-dimensional tasks. After light fine-tuning, the meta-trained hypernetwork transfers to regression targets, matching or surpassing strong baselines. Extensive experiments show that iLTM outperforms well-tuned GBDTs and leading deep tabular models while requiring less task-specific tuning. By bridging the gap between tree-based and neural methods, iLTM offers a new framework for tabular foundation models for robust, adaptable, and scalable tabular learning.
• Abstract（参考訳）: タブラルデータは、科学、産業、公共サービスにまたがる決定を下す。 急激な進歩にもかかわらず、ディープラーニングの進歩は表領域に完全には受け継がれておらず、実際には、勾配型決定木(GBDT)がデフォルトの選択のままである。 木由来の埋め込み、次元に依存しない表現、メタトレーニングされたハイパーネットワーク、多層パーセプトロン(MLP)、単一のアーキテクチャ内での検索を統合化した大型タブラルモデルiLTMを提案する。 1,800以上の異種分類データセットで事前訓練されたiLTMは、小さなデータセットから大規模かつ高次元のタスクまで、表の分類や回帰タスクにおいて一貫して優れたパフォーマンスを達成する。 光微細チューニングの後、メタトレーニングされたハイパーネットワークは、強いベースラインに一致するか、あるいは超えるように回帰ターゲットに転送される。 大規模な実験により、iLTMは、タスク固有のチューニングを必要とせず、よく調整されたGBDTより優れ、深い表型モデルを導くことが示されている。 ツリーベースとニューラルメソッドのギャップを埋めることによって、iLTMは、堅牢で適応性がありスケーラブルな表層学習のための表層基盤モデルのための新しいフレームワークを提供する。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [78.61845513154502]
  広い範囲にまたがる300以上のデータセットの集合であるTALENTについて広範な研究を行った。 我々の評価では、アンサンブルは木に基づくアプローチとニューラルアプローチの両方に効果があることが示されている。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Tabular Data: Is Deep Learning all you need? [21.994741050350132]
  タブラルデータは、応用機械学習において最も一般的なデータフォーマットの1つである。 ディープラーニングモデルは、既存の古典的アプローチと公正に比較できるような条件下での包括的な評価の対象にはなっていない。 我々の調査は、ニューラルネットワーク、古典的ML、AutoML技術にまたがる17の最先端の手法をベンチマークすることで、このギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-06T12:59:02Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models [18.219485459836285]
  GTL(Generative Tabular Learning)は、大規模言語モデル(LLM)の高度な機能を統合する新しいフレームワークである。 我々の実証的研究は、GTLのスケーリングの振る舞いを厳格に分析し、384の公開データセットにまたがる。 GTL-LLaMA-2モデルは、多くの分類および回帰タスクにまたがる優れたゼロショットおよびインコンテキスト学習能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T09:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。