論文の概要: TabOmics: A Small, Open Tabular Foundation Model for Wide Omics Data
- arxiv url: http://arxiv.org/abs/2611.15329v1
- Date: Wed, 11 Nov 2026 11:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.109721
- Title: TabOmics: A Small, Open Tabular Foundation Model for Wide Omics Data
- Title(参考訳): TabOmics: 広いオミクスデータのための小さなオープンタブラル基礎モデル
- Abstract要約: TabOmicsは、共同処理後に保持されるすべての特徴を処理し、予測、注目に基づく特徴重要スコア、テストサンプル埋め込みを導出する。
単員の場合、TabOmics v2.5 は平均 0.941 の AUROC に達し、TabPFN-3.5 は 0.942 となり、8 員で有意差はない。
合成表上では、TabPFN-Wideと同様の機能回復が達成され、その予測は3万以上の機能を持つ。
- 参考スコア(独自算出の注目度): 3.762438746800248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omics studies often produce tables with thousands to tens of thousands of molecular features and few samples. Tabular foundation models use diverse strategies to predict labels for such tables, with some relying on in-context learning, while approaches to wide tables may involve subsampling, grouping, or compressing features. We present TabOmics, a small, open family of tabular foundation models with 7.3M parameters, pretrained exclusively on synthetic tables. TabOmics processes all features retained after preprocessing jointly and derives predictions, attention-derived feature-importance scores, and test sample embeddings from the same forward pass. On 46 classification tasks from three benchmarks of high-dimensional, low-sample-size tables, TabOmics v2.5 with eight ensemble members achieves the highest mean area under the receiver operating characteristic curve (AUROC) among the evaluated models (0.943), outperforming TabPFN-3.5 with eight members on 32 tasks despite having about 30 times fewer parameters. With a single member, TabOmics v2.5 reaches a mean AUROC of 0.941, versus 0.942 for TabPFN-3.5 with eight members, with no significant paired difference under the reported task-level analysis. On synthetic tables, its feature-importance scores achieve feature recovery similar to that of TabPFN-Wide, and its predictions remain above chance at 30,000 features. On breast cancer tasks, the top ranked genes include PAM50 genes, which define the subtype labels, indicating concordance with the label definition rather than independent biological validation. The code, model weights, training recipes, and experimental artifacts are publicly available.
- Abstract(参考訳): オミクスの研究は、数千から数万の分子の特徴とサンプルの少ないテーブルをしばしば生成する。
タブラル基礎モデルは、このようなテーブルのラベルを予測するために多種多様な戦略を使用し、一部はコンテキスト内学習に依存し、一方ワイドテーブルへのアプローチにはサブサンプリング、グループ化、圧縮機能が含まれる。
本稿では,7.3Mパラメータを持つタブ状基礎モデルの小型でオープンなファウンデーションモデルであるTabOmicsについて述べる。
TabOmicsは、共同処理後に保持されるすべての特徴を処理し、予測、注目に基づく特徴重要度スコア、同じ前方パスからのサンプル埋め込みを導出する。
8つのアンサンブル部材を持つTabOmics v2.5は、高次元の低サンプルサイズのテーブルの3つのベンチマークから46の分類タスクを行い、評価されたモデル(0.943)のうち、受信機動作特性曲線(AUROC)の下で最も高い平均領域を達成し、約30倍のパラメータを持つにもかかわらず、32のタスクにおいて8つのメンバでTabPFN-3.5を上回った。
単員の場合、TabOmics v2.5 は平均 0.941 の AUROC に達し、TabPFN-3.5 は 0.942 となり、タスクレベル解析では有意な差は認められなかった。
合成表上では、TabPFN-Wideと同様の機能回復が達成され、その予測は3万以上の機能を持つ。
乳がんのタスクにおいて、上位に位置する遺伝子には、サブタイプラベルを定義するPAM50遺伝子が含まれており、独立した生物学的検証ではなく、ラベル定義と一致していることを示している。
コード、モデルウェイト、トレーニングレシピ、実験的なアーティファクトが公開されている。
関連論文リスト
- TabBench-Bio: A Living Benchmark for Machine Learning on High-Dimensional Biomedical Tables [0.3914676152740142]
複数のドメインにまたがる43のバイオメディカルデータセットの、生きたインタラクティブなベンチマークであるTabBench-Bioを紹介する。
古典的推定器、ニューラルネットワーク、および28のフィーチャー・バイ・サンプル・オペレーションポイントで表された基礎モデルを比較した。
RealTabPFN v2.5は最高点推定を持ち、次にロジスティック回帰とTabDPTが続く。
論文 参考訳(メタデータ) (2026-09-07T12:50:08Z) - Coarse composition suffices: tabular in-context learning for multi-activity antimicrobial peptide profiling [2.571440349338848]
単純なシーケンスのみのパイプラインは、マルチモーダルな構造条件のディープモデルにマッチし、超えられることを示す。
ESCAPE (82,359 peptides; 5 labels)では、ラベル・パワーセットのTabPFNモデルがmAP-5 = 77.8%を達成する。
論文 参考訳(メタデータ) (2026-08-31T06:50:09Z) - TabPFN-3: Technical Report [76.55249061301969]
TabPFN-3はTabPFN上に構築され、1Mのトレーニング行を持つデータセットに最先端のパフォーマンスを拡大し、トレーニングと推論時間を大幅に短縮する。
TabPFN-3は、我々の以前の合成データのみに制限され、表の予測のフロンティアを劇的に押し上げます。
当社のAPIが提供するTabPFN-3-Plus(Thinking)では,TabArena上で200Elo以上の非TabPFNモデルに対して,これを活用しています。
論文 参考訳(メタデータ) (2026-05-13T18:01:43Z) - Mind the Gap? A Distributional Comparison of Real and Synthetic Priors for Tabular Foundation Models [7.124188498356204]
タブラル基礎モデルは、ベンチマークリポジトリから収集されたキュレートデータセット、Webから大規模に収集されたテーブル、パラメトリック生成前のデータからサンプリングされた合成テーブルの3つのクラスのうちの1つで事前訓練されている。
この作業では、表層基礎モデルのトレーニングに使用される3つの標準的アーキティパルデータセットを取ります。
各コーパスは, テーブル全体, 列, 相関関係の集合的特徴を用いて特徴付け, 識別器AUCとk-NNのカバレッジ指標を用いて比較する。
我々は、TabICL合成前は実テーブルの空間の狭い領域を占めており、このミスマッチは事前の最適化によっては閉じられないことを発見した。
論文 参考訳(メタデータ) (2026-05-07T14:29:31Z) - OmniTabBench: Mapping the Empirical Frontiers of GBDTs, Neural Networks, and Foundation Models for Tabular Data at Scale [82.32822441887886]
私たちはこれまでで最大のベンチマークであるOmniTabBenchを紹介します。
我々は、OmniTabBench上で、すべてのモデルファミリーから最先端モデルの大規模な評価を行い、支配的な勝者がいないことを確認した。
論文 参考訳(メタデータ) (2026-04-08T08:31:43Z) - TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models [76.52858476275865]
TabPFN-2.5は5万のデータポイントと2,000の機能を持つデータセット用に構築されている。
チューニングされたツリーベースモデルとAutoGluon 1.4の精度を大幅に上回った。
生産用として,TabPFN-2.5を小型または木製アンサンブルに変換する新しい蒸留エンジンを導入する。
論文 参考訳(メタデータ) (2025-11-11T18:57:15Z) - Large Scale Transfer Learning for Tabular Data via Language Modeling [30.44823668480631]
グラフ予測のための言語モデルであるTabuLa-8Bを提案する。
4百万を超えるユニークなテーブルから210億行を超えるデータセットを使用します。
その結果,TabuLa-8Bはランダムな推測よりも15ポイント以上高い未確認のテーブル上でゼロショット精度を持つことがわかった。
論文 参考訳(メタデータ) (2024-06-17T18:58:20Z) - Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。
101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
論文 参考訳(メタデータ) (2023-10-31T18:03:54Z) - Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。
TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。
LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
論文 参考訳(メタデータ) (2023-05-16T06:37:38Z) - OmniTab: Pretraining with Natural and Synthetic Data for Few-shot
Table-based Question Answering [106.73213656603453]
最小限のアノテーションによるテーブルベースのQAモデルを構築した。
本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
論文 参考訳(メタデータ) (2022-07-08T01:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。