論文の概要: MultiTab: A Scalable Foundation for Multitask Learning on Tabular Data

• arxiv url: http://arxiv.org/abs/2511.09970v1
• Date: Fri, 14 Nov 2025 01:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.611853
• Title: MultiTab: A Scalable Foundation for Multitask Learning on Tabular Data
• Title（参考訳）: MultiTab: タブラルデータによるマルチタスク学習のためのスケーラブルな基盤
• Authors: Dimitrios Sinodinos, Jack Yi Wei, Narges Armanfard,
• Abstract要約: タブラルデータ(Tabular data)は、金融、ヘルスケア、eコマースなど、世界でもっとも豊富なデータタイプである。 本稿では,大規模な表データに特化して設計された最初のマルチタスクトランスフォーマーアーキテクチャであるMultiTab-Netを紹介する。 我々は,MultiTab-Netが既存のMTLアーキテクチャや多分野にわたるシングルタスクトランスよりも高いマルチタスクゲインを達成することを示す。
• 参考スコア（独自算出の注目度）: 8.398640823643538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data is the most abundant data type in the world, powering systems in finance, healthcare, e-commerce, and beyond. As tabular datasets grow and span multiple related targets, there is an increasing need to exploit shared task information for improved multitask generalization. Multitask learning (MTL) has emerged as a powerful way to improve generalization and efficiency, yet most existing work focuses narrowly on large-scale recommendation systems, leaving its potential in broader tabular domains largely underexplored. Also, existing MTL approaches for tabular data predominantly rely on multi-layer perceptron-based backbones, which struggle to capture complex feature interactions and often fail to scale when data is abundant, a limitation that transformer architectures have overcome in other domains. Motivated by this, we introduce MultiTab-Net, the first multitask transformer architecture specifically designed for large tabular data. MultiTab-Net employs a novel multitask masked-attention mechanism that dynamically models feature-feature dependencies while mitigating task competition. Through extensive experiments, we show that MultiTab-Net consistently achieves higher multitask gain than existing MTL architectures and single-task transformers across diverse domains including large-scale recommendation data, census-like socioeconomic data, and physics datasets, spanning a wide range of task counts, task types, and feature modalities. In addition, we contribute MultiTab-Bench, a generalized multitask synthetic dataset generator that enables systematic evaluation of multitask dynamics by tuning task count, task correlations, and relative task complexity. Our code is publicly available at https://github.com/Armanfard-Lab/MultiTab.
• Abstract（参考訳）: タブラルデータ(Tabular data)は、金融、ヘルスケア、eコマースなど、世界でもっとも豊富なデータタイプである。 表形式のデータセットが成長し、複数の関連するターゲットにまたがるにつれて、マルチタスクの一般化を改善するために共有タスク情報を活用する必要性が高まっている。 マルチタスク学習(MTL)は、一般化と効率を改善する強力な方法として登場したが、既存のほとんどの研究は大規模レコメンデーションシステムに焦点を絞っており、広範に表された領域にその潜在能力はほとんど探索されていない。 また、表形式のデータに対する既存のMTLアプローチは、多層パーセプトロンベースのバックボーンに大きく依存している。 そこで我々はMultiTab-Netを紹介した。これは大規模な表データに特化して設計された最初のマルチタスクトランスフォーマーアーキテクチャである。 MultiTab-Netは、タスク競合を緩和しながら機能的依存関係を動的にモデル化する、新しいマルチタスクマスク・アテンション機構を採用している。 広範にわたる実験により、MultiTab-Netは既存のMTLアーキテクチャや、大規模レコメンデーションデータ、国勢調査のような社会経済データ、物理データセットなどを含む様々な領域にまたがるシングルタスクトランスフォーマーよりも高いマルチタスクゲインを実現し、幅広いタスク数、タスクタイプ、特徴量にまたがる。 さらに,タスク数,タスク相関,相対的タスク複雑性をチューニングすることで,マルチタスクダイナミクスの体系的評価を可能にする汎用マルチタスク合成データセットジェネレータであるMultiTab-Benchを寄贈した。 私たちのコードはhttps://github.com/Armanfard-Lab/MultiTab.comで公開されています。

関連論文リスト

• Efficient Inter-Task Attention for Multitask Transformer Models [5.216738718339044]
  マルチタスクモデルのための変形可能なタスク間セルフアテンションを提案する。 我々は,NYUD-v2 と PASCAL-Context データセットの実験において,FLOP のカウント数と推論レイテンシの両方において,次数の減少を示す。 同時に、個々のタスクの予測品質指標において、最大7.4%の大幅な改善も達成しています。
  論文  参考訳（メタデータ） (2025-08-06T13:09:02Z)
• MINT: Multimodal Instruction Tuning with Multimodal Interaction Grouping [28.653290360671175]
  我々は,マルチモーダルインタラクションのタイプに基づいた,シンプルながら驚くほど効果的なタスクグループ化戦略であるMINTを紹介する。 提案手法は,マルチモーダル命令チューニングにおいて,既存のタスクグループ化ベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-02T22:55:23Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。