論文の概要: TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling

• arxiv url: http://arxiv.org/abs/2410.24210v3
• Date: Tue, 18 Feb 2025 18:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:01:39.811574
• Title: TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling
• Title（参考訳）: TabM:パラメータ効率向上による語彙深層学習の促進
• Authors: Yury Gorishniy, Akim Kotelnikov, Artem Babenko,
• Abstract要約: 新しいモデルであるTabMはアンサンブルに依存しており、1つのTabMは効率よくアンサンブルを模倣し、オブジェクトごとに複数の予測を生成する。 TabMでは、基盤となる暗黙のトレーニングが同時に行われ、(デフォルトでは)パラメータの大部分を共有しているため、パフォーマンスと効率が大幅に向上する。
• 参考スコア（独自算出の注目度）: 28.37672139176765
• License:
• Abstract: Deep learning architectures for supervised learning on tabular data range from simple multilayer perceptrons (MLP) to sophisticated Transformers and retrieval-augmented methods. This study highlights a major, yet so far overlooked opportunity for designing substantially better MLP-based tabular architectures. Namely, our new model TabM relies on efficient ensembling, where one TabM efficiently imitates an ensemble of MLPs and produces multiple predictions per object. Compared to a traditional deep ensemble, in TabM, the underlying implicit MLPs are trained simultaneously, and (by default) share most of their parameters, which results in significantly better performance and efficiency. Using TabM as a new baseline, we perform a large-scale evaluation of tabular DL architectures on public benchmarks in terms of both task performance and efficiency, which renders the landscape of tabular DL in a new light. Generally, we show that MLPs, including TabM, form a line of stronger and more practical models compared to attention- and retrieval-based architectures. In particular, we find that TabM demonstrates the best performance among tabular DL models. Then, we conduct an empirical analysis on the ensemble-like nature of TabM. We observe that the multiple predictions of TabM are weak individually, but powerful collectively. Overall, our work brings an impactful technique to tabular DL and advances the performance-efficiency trade-off with TabM -- a simple and powerful baseline for researchers and practitioners.
• Abstract（参考訳）: 表形式のデータに対する教師あり学習のためのディープラーニングアーキテクチャは、単純な多層パーセプトロン(MLP)から高度なトランスフォーマーや検索拡張メソッドまで様々である。 この研究は、MDPベースの表型アーキテクチャをかなり良く設計する上で、これまで見過ごされてきた大きな機会を浮き彫りにしている。 すなわち、新しいモデルであるTabMは効率の良いアンサンブルに依存しており、1つのTabMは効率よくMLPのアンサンブルを模倣し、オブジェクト毎に複数の予測を生成する。 従来のディープアンサンブルと比較すると、TabMでは、基盤となる暗黙のMLPは同時にトレーニングされ、(デフォルトでは)パラメータの大部分を共有しているため、パフォーマンスと効率が大幅に向上する。 新しいベースラインとしてTabMを用いることで、タスク性能と効率の両方の観点から、公開ベンチマーク上でタブ状DLアーキテクチャを大規模に評価し、タブ状DLのランドスケープを新しい光で表現する。 一般に、TabMを含むMLPは、注目や検索に基づくアーキテクチャと比較して、より強力で実用的なモデルであることを示す。 特に,TabMは表型DLモデルの中で最高の性能を示す。 そこで我々はTabMのアンサンブル的な性質を実証的に分析した。 我々は、TabMの複数の予測は個人的に弱いが、全体としては強力であることを示した。 全体として、私たちの研究は、表形式のDLにインパクトのあるテクニックをもたらし、研究者や実践者のためのシンプルで強力なベースラインであるTabMとの、パフォーマンス効率のトレードオフを前進させます。

関連論文リスト

• Towards Better Understanding Table Instruction Tuning: Decoupling the Effects from Data versus Models [62.47618742274461]
  既存の公開トレーニングデータセットに基づいて、Mistral、OLMo、Phiファミリーからベースモデルを微調整します。 我々のレプリケーションは、既存のテーブルLLMと同等以上のパフォーマンスを実現しています。 トレーニングデータとベースモデルのコントリビューションを分離し、個々の影響に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-01-24T18:50:26Z)
• Rethinking Table Instruction Tuning [29.139828718538418]
  既存のテーブルLLMの能力を評価し、ドメイン外のテーブル理解と汎用能力の両方において顕著な低下を明らかにした。 LLaMA 3.1 8BインストラクタをベースとしたTAMAを導入し,テーブルタスクにおけるGPT-3.5やGPT-4に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-01-24T18:06:07Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
  本研究では,自己指導型学習手法を用いた。 目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。 この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
  論文  参考訳（メタデータ） (2024-01-26T23:12:41Z)
• MambaTab: A Plug-and-Play Model for Learning Tabular Data [13.110156202816112]
  本研究は,表データに対する構造化状態空間モデル(SSM)であるMambaTabに基づく革新的なアプローチを導入する。 MambaTabは、さまざまなベンチマークデータセットで実証的に検証されるように、パラメータを著しく少なくしながら、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-01-16T22:44:12Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science [16.384705926693073]
  本研究は,データサイエンスにおける表上での予測を容易にするために,事前学習方法論の能力を拡張することを目的とする。 テーブルを一様に処理するために設計されたUniTabEは、特定のテーブル構造によって課される制約を無視する。 プレトレーニングフェーズを実装するため,Kaggleプラットフォームから正確に収集した約13Bサンプルからなる拡張データセットをキュレートした。
  論文  参考訳（メタデータ） (2023-07-18T13:28:31Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• STUNT: Few-shot Tabular Learning with Self-generated Tasks from Unlabeled Tables [64.0903766169603]
  我々は,Unlabeled Tables (STUNT) からの自己生成タスクを作成した,数発のセミ教師付き学習のためのフレームワークを提案する。 私たちのキーとなるアイデアは、ランダムに選択された列をターゲットラベルとして扱うことで、多様なショットタスクを自己生成することです。 次に、メタラーニング手法を用いて、構築されたタスクで一般化可能な知識を学習する。
  論文  参考訳（メタデータ） (2023-03-02T02:37:54Z)
• The GatedTabTransformer. An enhanced deep learning architecture for tabular modeling [0.0]
  そこで本研究では,従来のTabTransformerのバイナリ分類タスクの改良について述べる。 ゲートにインスパイアされた線形射影はブロック内に実装され、複数のアクティベーション関数がテストされる。
  論文  参考訳（メタデータ） (2022-01-01T14:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。