論文の概要: Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation

• arxiv url: http://arxiv.org/abs/2601.20854v1
• Date: Wed, 28 Jan 2026 18:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:07.105834
• Title: Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation
• Title（参考訳）: タブラルデータ生成のための変分オートエンコーダにおけるトランスフォーマ配置の探索
• Authors: Aníbal Silva, Moisés Santos, André Restivo, Carlos Soares,
• Abstract要約: 変分オートエンコーダ(VAE)の異なるコンポーネントへの変換器の統合が及ぼす影響について検討する。 結果は、トランスフォーマーの位置決めが遅延表現とデコーダ表現を活用することによって、忠実さと多様性のトレードオフにつながることを示唆している。 特にデコーダでは、トランスフォーマーの入力と出力の関係は概ね線形である。
• 参考スコア（独自算出の注目度）: 4.1053479715089525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data remains a challenging domain for generative models. In particular, the standard Variational Autoencoder (VAE) architecture, typically composed of multilayer perceptrons, struggles to model relationships between features, especially when handling mixed data types. In contrast, Transformers, through their attention mechanism, are better suited for capturing complex feature interactions. In this paper, we empirically investigate the impact of integrating Transformers into different components of a VAE. We conduct experiments on 57 datasets from the OpenML CC18 suite and draw two main conclusions. First, results indicate that positioning Transformers to leverage latent and decoder representations leads to a trade-off between fidelity and diversity. Second, we observe a high similarity between consecutive blocks of a Transformer in all components. In particular, in the decoder, the relationship between the input and output of a Transformer is approximately linear.
• Abstract（参考訳）: タブラルデータは、生成モデルにとって難しい領域である。 特に、標準変分オートエンコーダ(VAE)アーキテクチャは、典型的には多層パーセプトロンで構成されており、特に混合データ型を扱う場合、機能間の関係をモデル化するのに苦労している。 対照的に、Transformerはその注意機構を通じて、複雑な機能インタラクションをキャプチャするのにより適しています。 本稿では,VAEの異なるコンポーネントにトランスフォーマーを組み込むことが与える影響を実証的に検討する。 OpenML CC18スイートから57のデータセットの実験を行い、2つの主要な結論を導いた。 まず、トランスフォーマーの位置決めが遅延表現とデコーダ表現を活用することによって、忠実度と多様性のトレードオフにつながることを示す。 第2に、すべてのコンポーネントにおいてトランスフォーマーの連続ブロック間の高い類似性を観測する。 特にデコーダでは、トランスフォーマーの入力と出力の関係は概ね線形である。

関連論文リスト

• Multi-branch of Attention Yields Accurate Results for Tabular Data [8.017123125747258]
  本稿では,エンコーダ・デコーダ・トランスを用いたMAYAを提案する。 エンコーダでは、複数の並列注意枝を構成するマルチブランチ・オブ・アテンション(MBA)を設計する。 我々は、より堅牢な表現を生成するために、動的一貫性重み制約を伴う協調学習を採用する。
  論文  参考訳（メタデータ） (2025-02-18T03:43:42Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Multimodal Transformer for Parallel Concatenated Variational Autoencoders [22.5012275016132]
  パッチの代わりに,R,G,Bチャネルの画像に対してカラムストライプを変換器入力として使用する。 合成モーダルデータ生成のための変分オートエンコーダを備えたマルチモーダル変換器を開発した。
  論文  参考訳（メタデータ） (2022-10-28T14:45:32Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems [32.86421107987556]
  我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。 時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。 我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
  論文  参考訳（メタデータ） (2021-09-30T14:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。