論文の概要: PORTAL: Scalable Tabular Foundation Models via Content-Specific Tokenization

• arxiv url: http://arxiv.org/abs/2410.13516v1
• Date: Thu, 17 Oct 2024 13:05:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:56.686753
• Title: PORTAL: Scalable Tabular Foundation Models via Content-Specific Tokenization
• Title（参考訳）: Portal:コンテンツ特化トークン化によるスケーラブルなタブラリファウンデーションモデル
• Authors: Marco Spinaci, Marek Polewczyk, Johannes Hoffart, Markus C. Kohler, Sam Thelin, Tassilo Klein,
• Abstract要約: 我々は、クリーニングや前処理を必要とせずに、様々なデータモダリティを処理するフレームワーク、 Portal(Pretraining One-Row-at-a-Time for All tabLes)を紹介します。 オンラインにコンパイルされたデータセットで効果的に事前トレーニングされ、複雑な分類と回帰タスクに関する最先端の手法に適合するように微調整される。
• 参考スコア（独自算出の注目度）: 7.036380633387952
• License:
• Abstract: Self-supervised learning on tabular data seeks to apply advances from natural language and image domains to the diverse domain of tables. However, current techniques often struggle with integrating multi-domain data and require data cleaning or specific structural requirements, limiting the scalability of pre-training datasets. We introduce PORTAL (Pretraining One-Row-at-a-Time for All tabLes), a framework that handles various data modalities without the need for cleaning or preprocessing. This simple yet powerful approach can be effectively pre-trained on online-collected datasets and fine-tuned to match state-of-the-art methods on complex classification and regression tasks. This work offers a practical advancement in self-supervised learning for large-scale tabular data.
• Abstract（参考訳）: 表形式のデータに対する自己教師付き学習は、自然言語や画像領域から多様なテーブル領域への進歩を応用しようと試みている。 しかし、現在の技術は、マルチドメインデータの統合に苦慮し、データクリーニングや特定の構造的要件を必要とし、事前トレーニングデータセットのスケーラビリティを制限している。 我々は、クリーニングや前処理を必要とせずに、様々なデータモダリティを処理するフレームワーク、 Portal(Pretraining One-Row-at-a-Time for All tabLes)を紹介します。 このシンプルだが強力なアプローチは、オンラインにコンパイルされたデータセットで効果的に事前訓練され、複雑な分類と回帰タスクに関する最先端の手法に適合するように微調整される。 本研究は,大規模表型データに対する自己教師型学習の実践的進歩を提供する。

関連論文リスト

• TabDPT: Scaling Tabular Foundation Models [20.00390825519329]
  実データによる性能向上と一般化の方法を示す。 本モデルでは,CC18(分類)およびCTR23(回帰)ベンチマークの最先端性能を実現する。 TabDPTはまた、モデルのサイズと利用可能なデータの量の両方が増加するにつれて、強力なスケーリングを示す。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Automatic Data Curation for Self-Supervised Learning: A Clustering-Based Approach [36.47860223750303]
  自己教師付き事前学習のための高品質データセットの自動キュレーションの問題点を考察する。 これらの基準をすべて満たしたクラスタリングに基づく手法を提案する。 我々の方法は、大規模で多様なデータリポジトリ上で、$k$-meansの連続的かつ階層的なアプリケーションを含む。
  論文  参考訳（メタデータ） (2024-05-24T14:58:51Z)
• Relational Deep Learning: Graph Representation Learning on Relational Databases [69.7008152388055]
  複数のテーブルにまたがって配置されたデータを学ぶために、エンドツーエンドの表現アプローチを導入する。 メッセージパッシンググラフニューラルネットワークは、自動的にグラフを学習して、すべてのデータ入力を活用する表現を抽出する。
  論文  参考訳（メタデータ） (2023-12-07T18:51:41Z)
• Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Towards Cross-Table Masked Pretraining for Web Data Mining [22.952238405240188]
  本稿では,CM2と呼ばれる,革新的で汎用的で効率的なクロステーブル事前学習フレームワークを提案する。 実験では,CM2の最先端性能を実証し,クロステーブルプレトレーニングが様々なダウンストリームタスクを向上させることを実証した。
  論文  参考訳（メタデータ） (2023-07-10T02:27:38Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Embeddings for Tabular Data: A Survey [8.010589283146222]
  タブラルデータは、同じ列(属性)のセットを持つ行(サンプル)を含む テーブルは、さまざまな産業や学界でデータを保存する自然な方法になりつつある。 新しい研究の行は、様々なデータベースタスクをサポートするために様々な学習技術を適用している。
  論文  参考訳（メタデータ） (2023-02-23T04:37:49Z)
• Understanding the World Through Action [91.3755431537592]
  ラベルのないデータを利用するための汎用的で原則的で強力なフレームワークは、強化学習から導き出すことができると私は主張する。 このような手順が、下流の潜在的なタスクとどのように密接に一致しているかについて論じます。
  論文  参考訳（メタデータ） (2021-10-24T22:33:52Z)
• TURL: Table Understanding through Representation Learning [29.6016859927782]
  TURLは、リレーショナルWebテーブルに事前トレーニング/ファインタニングパラダイムを導入する新しいフレームワークである。 事前学習中、我々のフレームワークは教師なしの方法で関係表上の深い文脈化された表現を学習する。 我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-26T05:44:54Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。