Fugu-MT 論文翻訳(概要): TabReD: A Benchmark of Tabular Machine Learning in-the-Wild

論文の概要: TabReD: A Benchmark of Tabular Machine Learning in-the-Wild

arxiv url: http://arxiv.org/abs/2406.19380v2
Date: Mon, 1 Jul 2024 23:01:33 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 12:13:48.835676
Title: TabReD: A Benchmark of Tabular Machine Learning in-the-Wild
Title（参考訳）: TabReD: ブラウザで学習するタブラル機械学習のベンチマーク
Authors: Ivan Rubachev, Nikolay Kartashev, Yury Gorishniy, Artem Babenko,
Abstract要約: 機械学習の学術ベンチマークでは、業界グレードのデータセットが不足していることが示される。幅広いドメインをカバーする8つの業界グレードデータセットの集合であるTabReDを紹介する。時間に基づくデータ分割の評価は、学術ベンチマークにおいてより一般的なランダム分割の評価と比較して、異なる手法のランク付けにつながることを示す。
参考スコア（独自算出の注目度）: 30.922069185335246
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Benchmarks that closely reflect downstream application scenarios are essential for the streamlined adoption of new research in tabular machine learning (ML). In this work, we examine existing tabular benchmarks and find two common characteristics of industry-grade tabular data that are underrepresented in the datasets available to the academic community. First, tabular data often changes over time in real-world deployment scenarios. This impacts model performance and requires time-based train and test splits for correct model evaluation. Yet, existing academic tabular datasets often lack timestamp metadata to enable such evaluation. Second, a considerable portion of datasets in production settings stem from extensive data acquisition and feature engineering pipelines. For each specific dataset, this can have a different impact on the absolute and relative number of predictive, uninformative, and correlated features, which in turn can affect model selection. To fill the aforementioned gaps in academic benchmarks, we introduce TabReD -- a collection of eight industry-grade tabular datasets covering a wide range of domains from finance to food delivery services. We assess a large number of tabular ML models in the feature-rich, temporally-evolving data setting facilitated by TabReD. We demonstrate that evaluation on time-based data splits leads to different methods ranking, compared to evaluation on random splits more common in academic benchmarks. Furthermore, on the TabReD datasets, MLP-like architectures and GBDT show the best results, while more sophisticated DL models are yet to prove their effectiveness.
Abstract（参考訳）: 下流のアプリケーションシナリオを深く反映したベンチマークは、表型機械学習(ML)における新しい研究の合理化に不可欠である。本研究では,既存の表型ベンチマークを検証し,学術コミュニティで利用可能なデータセットに不足している業界レベルの表型データの2つの共通特性を見出した。まず、実際のデプロイメントシナリオでは、タブ形式のデータが時間とともに変化することが多い。これはモデルのパフォーマンスに影響を与え、正しいモデル評価のために時間ベースのトレインとテストの分割が必要です。しかし、既存の学術グラフデータセットは、そのような評価を可能にするタイムスタンプメタデータを欠いていることが多い。第2に、運用環境におけるデータセットのかなりの部分は、広範なデータ取得と機能エンジニアリングパイプラインに由来する。特定のデータセットごとに、これは予測的、非形式的、相関的な特徴の絶対的および相対的な数に異なる影響を与える可能性があるため、モデル選択に影響を与える可能性がある。前述の学術ベンチマークのギャップを埋めるために、TabReDを紹介します。これは、金融からフードデリバリーサービスまで、幅広い領域をカバーする8つの業界グレードのグラフデータセットのコレクションです。本研究では,TabReDにより促進される機能豊富な時間進化データ設定において,多数の表型MLモデルを評価する。時間に基づくデータ分割の評価は、学術ベンチマークで一般的なランダム分割の評価と比較して、異なる手法のランク付けにつながることを実証する。さらに、TabReDデータセットでは、MLPのようなアーキテクチャとGBDTが最良の結果を示しているが、より洗練されたDLモデルは、その効果を証明していない。

関連論文リスト

Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。先行した合成データセットのベイズ推定を近似することを学ぶ。精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
論文参考訳（メタデータ） (2024-11-15T23:49:23Z)
A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data [9.57464542357693]
実世界のモデリングパイプラインは、しばしばデータセット固有の前処理と特徴工学を必要とするため、モデル中心の評価は偏りがあることを実証する。 Kaggleコンペティションから10の関連するデータセットを選択し、データセット毎に専門家レベルの前処理パイプラインを実装します。データセット固有の機能エンジニアリングの後、モデルランキングは大幅に変化し、性能差が減少し、モデル選択の重要性が低下する。
論文参考訳（メタデータ） (2024-07-02T09:54:39Z)
A Closer Look at Deep Learning on Tabular Data [52.50778536274327]
タブラルデータは、機械学習の様々な領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は、ツリーベースに匹敵する有望なパフォーマンスを示している。
論文参考訳（メタデータ） (2024-07-01T04:24:07Z)
TabMDA: Tabular Manifold Data Augmentation for Any Classifier using Transformers with In-context Subsetting [23.461204546005387]
TabMDAは、表データの多様体データ拡張のための新しい方法である。これは、TabPFNのような事前訓練されたインコンテキストモデルを利用して、データを埋め込みスペースにマッピングする。我々は,TabMDAを5つの標準分類器上で評価し,各種データセット間での大幅な性能向上を観察した。
論文参考訳（メタデータ） (2024-06-03T21:51:13Z)
4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
論文参考訳（メタデータ） (2024-04-28T15:04:54Z)
Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文参考訳（メタデータ） (2023-10-31T18:03:54Z)
Leveraging Data Recasting to Enhance Tabular Reasoning [21.970920861791015]
これまでの作業は、主に2つのデータ生成戦略に依存していた。ひとつは人間のアノテーションで、言語学的に多様なデータを生成するが、拡張は困難である。第2のカテゴリは合成生成であり、スケーラブルで費用対効果があるが、発明性に欠ける。
論文参考訳（メタデータ） (2022-11-23T00:04:57Z)
A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。 1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
論文参考訳（メタデータ） (2022-07-07T02:37:25Z)
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文参考訳（メタデータ） (2022-03-10T08:58:18Z)
SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
論文参考訳（メタデータ） (2021-10-08T20:11:09Z)
BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
論文参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。