論文の概要: Transformers Meet Relational Databases

• arxiv url: http://arxiv.org/abs/2412.05218v1
• Date: Fri, 06 Dec 2024 17:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:10.226414
• Title: Transformers Meet Relational Databases
• Title（参考訳）: トランスフォーマーがリレーショナルデータベースと出会う
• Authors: Jakub Peleška, Gustav Šír,
• Abstract要約: トランスフォーマーモデルは、基礎となるシーケンス対シーケンス表現に変換可能なすべての機械学習ドメインに継続的に拡張されている。 本稿では,形式的リレーショナルモデルに忠実に準拠するモジュール型ニューラルメッセージパッシング方式を提案する。 本研究は,新たに提案されたニューラルアーキテクチャのクラスにおいて,優れた性能を示すものである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Transformer models have continuously expanded into all machine learning domains convertible to the underlying sequence-to-sequence representation, including tabular data. However, while ubiquitous, this representation restricts their extension to the more general case of relational databases. In this paper, we introduce a modular neural message-passing scheme that closely adheres to the formal relational model, enabling direct end-to-end learning of tabular Transformers from database storage systems. We address the challenges of appropriate learning data representation and loading, which are critical in the database setting, and compare our approach against a number of representative models from various related fields across a significantly wide range of datasets. Our results demonstrate a superior performance of this newly proposed class of neural architectures.
• Abstract（参考訳）: トランスフォーマーモデルは、グラフデータを含む、基礎となるシーケンス・ツー・シーケンス表現に変換可能なすべての機械学習ドメインに継続的に拡張されている。 しかし、この表現はユビキタスであるにもかかわらず、より一般的なリレーショナルデータベースの拡張を制限する。 本稿では,形式的リレーショナルモデルに忠実に準拠するモジュール型ニューラルメッセージパッシング方式を導入し,データベースストレージシステムから表形式変換器を直接エンドツーエンドに学習することを可能にする。 データベース設定において重要な,適切な学習データ表現とローディングの課題に対処し,そのアプローチを,さまざまな関連分野の代表的なモデルと比較する。 本研究は,新たに提案されたニューラルアーキテクチャのクラスにおいて,優れた性能を示すものである。

関連論文リスト

• TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
  1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• The Duck's Brain: Training and Inference of Neural Networks in Modern Database Engines [9.450046371705927]
  ニューラルネットワークのinsqlをトレーニングするための関係表現にデータを変換する方法を示す。 実行時およびメモリ消費の観点からの評価は、行列代数に対する現代のデータベースシステムの適合性を証明している。
  論文  参考訳（メタデータ） (2023-12-28T20:45:06Z)
• Polynomial-based Self-Attention for Table Representation learning [23.651207486167518]
  Transformersの重要なコンポーネントであるセルフアテンションは、過度にスムースな問題を引き起こす可能性がある。 そこで本研究では,行列ベースの自己アテンション層を元の自己アテンション層に代えて,新しい自己アテンション層を提案する。 提案する3つの表学習モデルを用いて実験を行った結果,この層が過度に平滑な問題を効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2023-12-12T21:49:26Z)
• GFS: Graph-based Feature Synthesis for Prediction over Relational Databases [39.975491511390985]
  グラフベース特徴合成(GFS)と呼ばれる新しいフレームワークを提案する。 GFSは関係データベースを異種グラフデータベースとして定式化する。 4つの実世界のマルチテーブルリレーショナルデータベースに対する実験では、GFSはリレーショナルデータベース用に設計された従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-04T16:54:40Z)
• Retrieval-Based Transformer for Table Augmentation [14.460363647772745]
  我々は、自動データラングリングに対する新しいアプローチを導入する。 本研究の目的は,行数や列数,データ計算などのテーブル拡張タスクに対処することである。 我々のモデルは、教師付き統計手法と最先端のトランスフォーマーベースモデルの両方より一貫して、実質的に優れています。
  論文  参考訳（メタデータ） (2023-06-20T18:51:21Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• TransVG: End-to-End Visual Grounding with Transformers [102.11922622103613]
  本稿では,画像に対して言語クエリを接地するタスクに対処するためのトランスフォーマティブベースのフレームワークであるtransvgを提案する。 複雑な核融合モジュールは、高い性能でトランスフォーマーエンコーダ層を単純なスタックで置き換えることができることを示す。
  論文  参考訳（メタデータ） (2021-04-17T13:35:24Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。