論文の概要: Trompt: Towards a Better Deep Neural Network for Tabular Data

• arxiv url: http://arxiv.org/abs/2305.18446v1
• Date: Mon, 29 May 2023 03:51:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 20:52:58.044627
• Title: Trompt: Towards a Better Deep Neural Network for Tabular Data
• Title（参考訳）: Trompt: タブラルデータのためのより優れたディープニューラルネットワークを目指す
• Authors: Kuan-Yu Chen, Ping-Han Chiang, Hsin-Rung Chou, Ting-Wei Chen, Tien-Hao Chang
• Abstract要約: 本稿では,言語モデルの素早い学習に触発された新しいアーキテクチャであるTromptを提案する。 実験結果は、Trumptが最先端のディープニューラルネットワークより優れており、ツリーベースモデルに匹敵することを示している。
• 参考スコア（独自算出の注目度）: 7.634967263296487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data is arguably one of the most commonly used data structures in various practical domains, including finance, healthcare and e-commerce. The inherent heterogeneity allows tabular data to store rich information. However, based on a recently published tabular benchmark, we can see deep neural networks still fall behind tree-based models on tabular datasets. In this paper, we propose Trompt--which stands for Tabular Prompt--a novel architecture inspired by prompt learning of language models. The essence of prompt learning is to adjust a large pre-trained model through a set of prompts outside the model without directly modifying the model. Based on this idea, Trompt separates the learning strategy of tabular data into two parts. The first part, analogous to pre-trained models, focus on learning the intrinsic information of a table. The second part, analogous to prompts, focus on learning the variations among samples. Trompt is evaluated with the benchmark mentioned above. The experimental results demonstrate that Trompt outperforms state-of-the-art deep neural networks and is comparable to tree-based models.
• Abstract（参考訳）: タブラルデータ(Tabular data)は、金融、ヘルスケア、電子商取引など、さまざまな実践領域でよく使われているデータ構造の一つである。 内在する異質性により、表型データは豊富な情報を格納することができる。 しかし、最近発表された表型ベンチマークに基づいて、ディープニューラルネットワークは依然として表型データセットのツリーベースモデルに遅れていることがわかる。 本稿では,言語モデルのプロンプト学習にインスパイアされた新しいアーキテクチャであるtmpt(tabular prompt)を提案する。 プロンプト学習の本質は、モデルを直接修正することなく、モデル外の一連のプロンプトを通じて、大きな事前学習されたモデルを調整することである。 このアイデアに基づいて、Tromptは表データの学習戦略を2つに分けている。 最初の部分は、事前訓練されたモデルに似ているが、テーブルの本質的な情報を学ぶことに集中している。 第2部はプロンプトに似ているが、サンプルのバリエーションを学ぶことに集中している。 Tromptは上記のベンチマークで評価される。 実験結果は、tmptが最先端のディープニューラルネットワークよりも優れており、ツリーベースモデルに匹敵することを示した。

関連論文リスト

• Why Tabular Foundation Models Should Be a Research Priority [65.75744962286538]
  タブラルデータは、多くの分野において支配的なモダリティであるが、研究の注意がほとんど与えられず、スケールとパワーの面ではかなり遅れている。 私たちは現在、表形式の基礎モデル、あるいはLTM(Large Tabular Model)と呼ばれるものの開発を始める時が来たと信じています。
  論文  参考訳（メタデータ） (2024-05-02T10:05:16Z)
• Boosting gets full Attention for Relational Learning [27.82663283409287]
  本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。 シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
  論文  参考訳（メタデータ） (2024-02-22T19:16:01Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Graph Neural Network contextual embedding for Deep Learning on Tabular Data [0.45880283710344055]
  ディープラーニング(DL)は、自然言語処理のような人間のスキルに関連する分野において、AIにとって大きなブレークスルーとなっている。 本稿では,グラフニューラルネットワーク(GNN)を用いた新しいDLモデル,特にインタラクションネットワーク(IN)を提案する。 この結果は、最近発表された5つの公開データセットに基づいたDLベンチマークによる調査よりも優れており、増木ソリューションと比較しても競争力のある結果が得られている。
  論文  参考訳（メタデータ） (2023-03-11T17:13:24Z)
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
  大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。 テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。 このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
  論文  参考訳（メタデータ） (2022-10-19T17:08:13Z)
• PTab: Using the Pre-trained Language Model for Modeling Tabular Data [5.791972449406902]
  近年の研究では、ニューラルネットワークモデルがタブラルデータの文脈表現の学習に有効であることが示されている。 本稿では,事前学習言語モデルを用いて,タブラルデータをモデル化する新しいフレームワークPTabを提案する。 提案手法は,最先端のベースラインに比べて,教師付き設定における平均AUCスコアが向上した。
  論文  参考訳（メタデータ） (2022-09-15T08:58:42Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space [88.37185513453758]
  本研究では,深層ニューラルネットワーク(DNN)が学習するクラスワイズな知識を,異なる環境下で可視化し,理解する手法を提案する。 本手法は,各クラスのモデルが学習した知識を表現するために,画素空間内の1つの予測パターンを探索する。 逆境環境では、逆境に訓練されたモデルはより単純化された形状パターンを学ぶ傾向がある。
  論文  参考訳（メタデータ） (2021-01-18T06:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。