論文の概要: Data Language Models: A New Foundation Model Class for Tabular Data

• arxiv url: http://arxiv.org/abs/2605.06290v1
• Date: Thu, 07 May 2026 13:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.869527
• Title: Data Language Models: A New Foundation Model Class for Tabular Data
• Title（参考訳）: データ言語モデル: タブラルデータのための新しい基礎モデルクラス
• Authors: Eda Erol, Giuliano Pezzoli, Ozer Cem Kelahmet,
• Abstract要約: データ言語モデル(DLM)は、言語モデルが文を理解する方法を理解する。 DLMは、言語モデルが文を理解する方法を理解する。 生の細胞だけから、目に見えないデータセットの業界セクターを特定します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Every major data modality now has a foundation model that understands it natively: text has language models, images have vision models, audio has audio models. Tabular data, the modality on which many consequential real-world AI decisions are made, does not. Every approach to tabular AI today, from gradient-boosted trees to the latest tabular foundation models, requires a preprocessing pipeline before any model can consume the data. None of them understand tabular data as a modality. We introduce the Data Language Model (DLM), the missing foundation model for tabular data. A DLM understands tables the way a language model understands sentences: natively, without serialization or preprocessing, directly from raw cell values. It is the tabular data layer on which AI models, agents, and vertical AI applications can be built, eliminating the preprocessing pipelines that currently stand between raw data and every AI system that consumes it. We present Schema-1, the first DLM: a 140M parameter model trained on more than 2.3M synthetic and real-world tabular datasets. Schema-1 outperforms gradient-boosted ensembles, AutoML stacks, and the tabular foundation models we evaluate on established row-level prediction benchmarks. On missing value reconstruction it achieves lower reconstruction error than all classical statistical methods and frontier large language models on mean performance across conditions, establishing that structural understanding of a dataset's own distributional geometry is more useful for imputation than world knowledge encoded in language. It identifies the industry sector of any unseen dataset from raw cell values alone, reliably across any domain, a task no prior tabular model can perform. It is the native tabular understanding layer that has been missing from the AI stack.
• Abstract（参考訳）: テキストには言語モデルがあり、画像には視覚モデルがあり、オーディオにはオーディオモデルがある。 多くの連続した現実世界のAI決定が下されるモダリティであるタブラルデータは、そうではない。 今日の表層AIへのアプローチは、勾配木から最新の表層基盤モデルに至るまで、あらゆるモデルがデータを消費する前に、前処理パイプラインを必要とする。 いずれも表データをモダリティとして理解していない。 データ言語モデル(DLM)を紹介する。 DLMは、言語モデルが文の理解方法を理解する: ネイティブに、直列化や前処理なしで、生のセル値から直接。 これは、AIモデル、エージェント、垂直AIアプリケーションを構築することができる表形式のデータ層であり、現在生のデータとそれを使用するすべてのAIシステムの間に立っている前処理パイプラインを排除している。 最初のDLMであるSchema-1は、2.3M以上の合成および実世界の表グラフデータセットに基づいてトレーニングされた140Mパラメータモデルである。 Schema-1は、確立された行レベルの予測ベンチマークで評価した勾配ブーストアンサンブル、AutoMLスタック、および表層基礎モデルより優れています。 全ての古典的統計手法やフロンティア大言語モデルよりも低い再構成誤差を条件を越えた平均性能で達成し、データセットの分布幾何学の構造的理解が、言語で符号化された世界知識よりも計算に有用であることを示す。 それは、未確認データセットの産業セクターを、生のセルの値だけから特定し、あらゆるドメインにわたって確実に、以前の表形式モデルでは実行できないタスクを識別する。 AIスタックから欠落している、ネイティブな表の理解レイヤである。

関連論文リスト

• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Pre-training a Transformer-Based Generative Model Using a Small Sepedi Dataset [0.5530212768657544]
  南アフリカのいくつかのリソースから得られたSepedi monolingual(SepMono)データセットと、ラジオニュースドメインからのSepedi Radio News(SepNews)データセットを使用します。 以上の結果から,非閉塞モデルの方が,検証損失とパープレキシティの測定において,オクルージョンベースモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-01-25T17:25:06Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Table Question Answering for Low-resourced Indic Languages [71.57359949962678]
  TableQAは構造化された情報のテーブル上で質問に答え、個々のセルやテーブルを出力として返すタスクである。 予算が限られている低リソース言語を対象とした,完全自動大規模テーブルQAデータ生成プロセスを提案する。 表QAデータセットやモデルを持たない2つのIndic言語であるBengaliとHindiにデータ生成手法を組み込む。
  論文  参考訳（メタデータ） (2024-10-04T16:26:12Z)
• Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution [7.681258910515419]
  タブラルデータは、その異種の性質と複雑な構造的関係により、固有の課題を示す。 表型データ解析における高い予測性能とロバスト性は、多くのアプリケーションにとって大きな可能性を秘めている。 GPTやLLaMAといった最近の大規模言語モデルの出現はこの分野にさらなる革命をもたらし、最小限の微調整でより高度で多様なアプリケーションを容易にした。
  論文  参考訳（メタデータ） (2024-08-20T04:59:19Z)
• TabuLa: Harnessing Language Models for Tabular Data Synthesis [4.539846270369207]
  Tabulaは、大きな言語モデル(LLM)の構造を利用する表形式のデータシンセサイザーである。 State-of-the-art (SOTA) の LLM とは異なり、Tabula は元々自然言語処理用に設計されたトレーニング済みのウェイトを捨てている。 実験により,Tabulaは現在のSOTA法と比較して優れた合成データユーティリティを実現していることが示された。
  論文  参考訳（メタデータ） (2023-10-19T13:50:56Z)
• UniPredict: Large Language Models are Universal Tabular Classifiers [33.811778526930745]
  本稿では、生成モデル、すなわちUniPredictに基づいて、普遍的な表型データ予測器を構築するというアイデアを活用する。 多様なターゲットを持つ169データセットのアグリゲーション上で1つのLLMをトレーニングし、そのパフォーマンスを各データセットで個別にトレーニングされたベースラインと比較する。 我々は、この汎用UniPredictモデルは、最高のツリーブースティングベースラインと最高のニューラルネットワークベースラインと比較して、5.4%から13.4%の範囲で、他のモデルよりも有利であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T02:37:09Z)
• MediTab: Scaling Medical Tabular Data Predictors via Data Consolidation, Enrichment, and Refinement [44.693325083735424]
  患者の健康リスク予測などの医療応用において,タブラルデータ予測が採用されている。 以前の予測子は、手動でキュレートされた小さなデータセットでトレーニングされることが多い。
  論文  参考訳（メタデータ） (2023-05-20T03:37:09Z)
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
  大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。 テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。 このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
  論文  参考訳（メタデータ） (2022-10-19T17:08:13Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。