論文の概要: Why Tabular Foundation Models Should Be a Research Priority

• arxiv url: http://arxiv.org/abs/2405.01147v1
• Date: Thu, 2 May 2024 10:05:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:04:04.923696
• Title: Why Tabular Foundation Models Should Be a Research Priority
• Title（参考訳）: タブラル・ファンデーション・モデルが研究優先であるべき理由
• Authors: Boris van Breugel, Mihaela van der Schaar,
• Abstract要約: タブラルデータは、多くの分野において支配的なモダリティであるが、研究の注意がほとんど与えられず、スケールとパワーの面ではかなり遅れている。 私たちは現在、表形式の基礎モデル、あるいはLTM(Large Tabular Model)と呼ばれるものの開発を始める時が来たと信じています。
• 参考スコア（独自算出の注目度）: 65.75744962286538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text and image foundation models are incredibly impressive, and these models are attracting an ever-increasing portion of research resources. In this position piece we aim to shift the ML research community's priorities ever so slightly to a different modality: tabular data. Tabular data is the dominant modality in many fields, yet it is given hardly any research attention and significantly lags behind in terms of scale and power. We believe the time is now to start developing tabular foundation models, or what we coin a Large Tabular Model (LTM). LTMs could revolutionise the way science and ML use tabular data: not as single datasets that are analyzed in a vacuum, but contextualized with respect to related datasets. The potential impact is far-reaching: from few-shot tabular models to automating data science; from out-of-distribution synthetic data to empowering multidisciplinary scientific discovery. We intend to excite reflections on the modalities we study, and convince some researchers to study large tabular models.
• Abstract（参考訳）: 最近のテキストと画像の基礎モデルは驚くほど印象的であり、これらのモデルは研究資源の継続的な増加を招いている。 このポジションピースでは、ML研究コミュニティの優先順位を、表のデータという、まったく異なるモダリティにシフトさせることを目標にしています。 タブラルデータは、多くの分野において支配的なモダリティであるが、研究の注意がほとんど与えられず、スケールとパワーの面ではかなり遅れている。 現在、表形式の基礎モデル、あるいはLTM(Large Tabular Model)と呼ばれるものの開発に着手する時が来たと信じています。 LTMは、科学とMLがグラフデータを使用する方法に革命をもたらす可能性がある。真空で分析される単一のデータセットではなく、関連するデータセットに関してコンテキスト化される。 潜在的な影響は、数ショットの表形式モデルからデータサイエンスの自動化、アウト・オブ・ディストリビューションの合成データから多分野の科学的発見の強化まで、はるかに大きい。 我々は、我々が研究しているモダリティの反映をエキサイティングにし、一部の研究者に大きな表層モデルの研究を説得するつもりです。

関連論文リスト

• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• Dataset Mention Extraction in Scientific Articles Using Bi-LSTM-CRF Model [0.0]
  データレポジトリや資金調達機関による最近の取り組みにもかかわらず、データセットの引用は一般的でも標準的でもないことが示されています。 この問題の潜在的な解決策は、科学論文からデータセットの言及を自動的に抽出することである。 本研究では,Bi-LSTM-CRFアーキテクチャに基づくニューラルネットワークを用いて,そのような抽出を実現することを提案する。
  論文  参考訳（メタデータ） (2024-05-21T18:12:37Z)
• How Robust are the Tabular QA Models for Scientific Tables? A Study using Customized Dataset [23.822733961152103]
  SciTabQAは、科学的異種データに対する質問応答を研究する革新的なデータセットである。 3つの最先端のタブラルQAモデルをベンチマークした結果、最良のF1スコアは0.462であることがわかった。
  論文  参考訳（メタデータ） (2024-03-30T15:48:49Z)
• TabuLa: Harnessing Language Models for Tabular Data Synthesis [5.102332247789348]
  言語モデル構造に基づく新しいタイプのデータシンセサイザーであるTabulaを開発した。 本研究では,現在LLMをベースとした最先端アルゴリズムと比較して,Tabulaのトレーニング時間は平均46.2%削減されていることを示す。 また、合成データの質を保ちながら、トレーニング時間を著しく短縮するトークンシーケンス圧縮戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:50:56Z)
• From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models [18.219485459836285]
  GTL(Generative Tabular Learning)は、大規模言語モデル(LLM)の高度な機能を統合する新しいフレームワークである。 我々の実証的研究は、GTLのスケーリングの振る舞いを厳格に分析し、384の公開データセットにまたがる。 GTL-LLaMA-2モデルは、多くの分類および回帰タスクにまたがる優れたゼロショットおよびインコンテキスト学習能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T09:37:38Z)
• Generating tabular datasets under differential privacy [0.0]
  ディープニューラルネットワークのトレーニングプロセスに差分プライバシー(DP)を導入する。 これにより、結果データの品質とプライバシの間にトレードオフが生じます。 我々は、注意機構を活用する新しいエンドツーエンドモデルを実装している。
  論文  参考訳（メタデータ） (2023-08-28T16:35:43Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。