論文の概要: MultiTab: A Scalable Foundation for Multitask Learning on Tabular Data
- arxiv url: http://arxiv.org/abs/2511.09970v1
- Date: Fri, 14 Nov 2025 01:22:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-14 22:53:22.611853
- Title: MultiTab: A Scalable Foundation for Multitask Learning on Tabular Data
- Title（参考訳）: MultiTab: タブラルデータによるマルチタスク学習のためのスケーラブルな基盤
- Authors: Dimitrios Sinodinos, Jack Yi Wei, Narges Armanfard,
- Abstract要約: タブラルデータ(Tabular data)は、金融、ヘルスケア、eコマースなど、世界でもっとも豊富なデータタイプである。
本稿では,大規模な表データに特化して設計された最初のマルチタスクトランスフォーマーアーキテクチャであるMultiTab-Netを紹介する。
我々は,MultiTab-Netが既存のMTLアーキテクチャや多分野にわたるシングルタスクトランスよりも高いマルチタスクゲインを達成することを示す。
- 参考スコア（独自算出の注目度）: 8.398640823643538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular data is the most abundant data type in the world, powering systems in finance, healthcare, e-commerce, and beyond. As tabular datasets grow and span multiple related targets, there is an increasing need to exploit shared task information for improved multitask generalization. Multitask learning (MTL) has emerged as a powerful way to improve generalization and efficiency, yet most existing work focuses narrowly on large-scale recommendation systems, leaving its potential in broader tabular domains largely underexplored. Also, existing MTL approaches for tabular data predominantly rely on multi-layer perceptron-based backbones, which struggle to capture complex feature interactions and often fail to scale when data is abundant, a limitation that transformer architectures have overcome in other domains. Motivated by this, we introduce MultiTab-Net, the first multitask transformer architecture specifically designed for large tabular data. MultiTab-Net employs a novel multitask masked-attention mechanism that dynamically models feature-feature dependencies while mitigating task competition. Through extensive experiments, we show that MultiTab-Net consistently achieves higher multitask gain than existing MTL architectures and single-task transformers across diverse domains including large-scale recommendation data, census-like socioeconomic data, and physics datasets, spanning a wide range of task counts, task types, and feature modalities. In addition, we contribute MultiTab-Bench, a generalized multitask synthetic dataset generator that enables systematic evaluation of multitask dynamics by tuning task count, task correlations, and relative task complexity. Our code is publicly available at https://github.com/Armanfard-Lab/MultiTab.
- Abstract（参考訳）: タブラルデータ(Tabular data)は、金融、ヘルスケア、eコマースなど、世界でもっとも豊富なデータタイプである。
表形式のデータセットが成長し、複数の関連するターゲットにまたがるにつれて、マルチタスクの一般化を改善するために共有タスク情報を活用する必要性が高まっている。
マルチタスク学習(MTL)は、一般化と効率を改善する強力な方法として登場したが、既存のほとんどの研究は大規模レコメンデーションシステムに焦点を絞っており、広範に表された領域にその潜在能力はほとんど探索されていない。
また、表形式のデータに対する既存のMTLアプローチは、多層パーセプトロンベースのバックボーンに大きく依存している。
そこで我々はMultiTab-Netを紹介した。これは大規模な表データに特化して設計された最初のマルチタスクトランスフォーマーアーキテクチャである。
MultiTab-Netは、タスク競合を緩和しながら機能的依存関係を動的にモデル化する、新しいマルチタスクマスク・アテンション機構を採用している。
広範にわたる実験により、MultiTab-Netは既存のMTLアーキテクチャや、大規模レコメンデーションデータ、国勢調査のような社会経済データ、物理データセットなどを含む様々な領域にまたがるシングルタスクトランスフォーマーよりも高いマルチタスクゲインを実現し、幅広いタスク数、タスクタイプ、特徴量にまたがる。
さらに,タスク数,タスク相関,相対的タスク複雑性をチューニングすることで,マルチタスクダイナミクスの体系的評価を可能にする汎用マルチタスク合成データセットジェネレータであるMultiTab-Benchを寄贈した。
私たちのコードはhttps://github.com/Armanfard-Lab/MultiTab.comで公開されています。
関連論文リスト
- Efficient Inter-Task Attention for Multitask Transformer Models [5.216738718339044]
マルチタスクモデルのための変形可能なタスク間セルフアテンションを提案する。
我々は,NYUD-v2 と PASCAL-Context データセットの実験において,FLOP のカウント数と推論レイテンシの両方において,次数の減少を示す。
同時に、個々のタスクの予測品質指標において、最大7.4%の大幅な改善も達成しています。
論文 参考訳（メタデータ） (2025-08-06T13:09:02Z) - MINT: Multimodal Instruction Tuning with Multimodal Interaction Grouping [28.653290360671175]
我々は,マルチモーダルインタラクションのタイプに基づいた,シンプルながら驚くほど効果的なタスクグループ化戦略であるMINTを紹介する。
提案手法は,マルチモーダル命令チューニングにおいて,既存のタスクグループ化ベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2025-06-02T22:55:23Z) - Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。
本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
論文 参考訳（メタデータ） (2024-04-02T14:16:59Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。
大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
論文 参考訳（メタデータ） (2023-06-08T15:17:04Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-05-29T05:20:38Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳（メタデータ） (2022-03-02T18:56:20Z) - Multi-Task Processes [13.362632630637707]
複数のプロセスから実現されたタスクを推論するためのマルチタスクプロセス(MTP)を提案する。
MTPは,様々な実世界のデータから相関関係を発見し,活用することで,複数のタスクを協調的にモデル化できることを示す。
論文 参考訳（メタデータ） (2021-10-28T08:45:43Z) - MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。
本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
論文 参考訳（メタデータ） (2020-01-19T21:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。