論文の概要: GPT-FT: An Efficient Automated Feature Transformation Using GPT for Sequence Reconstruction and Performance Enhancement

• arxiv url: http://arxiv.org/abs/2508.20824v1
• Date: Thu, 28 Aug 2025 14:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.446271
• Title: GPT-FT: An Efficient Automated Feature Transformation Using GPT for Sequence Reconstruction and Performance Enhancement
• Title（参考訳）: GPT-FT:シーケンス再構成と性能向上のためのGPTを用いた効率的な自動特徴変換
• Authors: Yang Gao, Dongjie Wang, Scott Piersall, Ye Zhang, Liqiang Wang,
• Abstract要約: データ表現を最適化することで、機械学習モデルのパフォーマンスを向上させる上で、特徴変換は重要な役割を果たす。 最近の最先端のアプローチでは、離散探索を学習可能なプロセスに変換する、連続的な埋め込み最適化問題としてこの問題に対処している。 4つのステップで自動的な特徴変換を実現する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.888674282162032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature transformation plays a critical role in enhancing machine learning model performance by optimizing data representations. Recent state-of-the-art approaches address this task as a continuous embedding optimization problem, converting discrete search into a learnable process. Although effective, these methods often rely on sequential encoder-decoder structures that cause high computational costs and parameter requirements, limiting scalability and efficiency. To address these limitations, we propose a novel framework that accomplishes automated feature transformation through four steps: transformation records collection, embedding space construction with a revised Generative Pre-trained Transformer (GPT) model, gradient-ascent search, and autoregressive reconstruction. In our approach, the revised GPT model serves two primary functions: (a) feature transformation sequence reconstruction and (b) model performance estimation and enhancement for downstream tasks by constructing the embedding space. Such a multi-objective optimization framework reduces parameter size and accelerates transformation processes. Experimental results on benchmark datasets show that the proposed framework matches or exceeds baseline performance, with significant gains in computational efficiency. This work highlights the potential of transformer-based architectures for scalable, high-performance automated feature transformation.
• Abstract（参考訳）: データ表現を最適化することで、機械学習モデルのパフォーマンスを向上させる上で、特徴変換は重要な役割を果たす。 最近の最先端のアプローチでは、離散探索を学習可能なプロセスに変換する、連続的な埋め込み最適化問題としてこの問題に対処している。 有効ではあるが、これらの手法は、高い計算コストとパラメータ要求を引き起こし、スケーラビリティと効率を制限しているシーケンシャルエンコーダ・デコーダ構造に依存していることが多い。 これらの制約に対処するために、変換レコードの収集、改良された生成事前学習変換(GPT)モデルによる空間構成の埋め込み、勾配上昇探索、自己回帰再構成の4つのステップで自動特徴変換を実現する新しいフレームワークを提案する。 提案手法では,改訂GPTモデルには2つの主要な機能がある。 (a)特徴変換シーケンスの再構築 (b)埋め込み空間を構築することにより下流タスクのモデル性能推定と強化を行う。 このような多目的最適化フレームワークは、パラメータのサイズを減らし、変換プロセスを加速する。 ベンチマークデータセットによる実験結果から,提案するフレームワークはベースライン性能に適合し,計算効率が大幅に向上することが示された。 この作業は、スケーラブルで高性能な自動機能変換のためのトランスフォーマーベースのアーキテクチャの可能性を強調します。

関連論文リスト

• Two-Stage Feature Generation with Transformer and Reinforcement Learning [7.151819692081128]
  Two-Stage Feature Generation (TSFG)フレームワークは、Transformerベースのエンコーダデコーダアーキテクチャとプロキシポリシー最適化を統合している。 TSFGは,機能品質と適応性の観点から,既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-28T05:11:59Z)
• Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization [17.588657338437812]
  グラフ駆動経路最適化により特徴工学を自動化する多エージェント強化学習フレームワークであるTCTOを提案する。 フレームワークの中核的なイノベーションは、ノードとしての特徴をモデル化し、エッジとして変換する、進化する相互作用グラフにある。 包括的実験とケーススタディを行い、さまざまなデータセットで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-04-24T08:16:13Z)
• HeterRec: Heterogeneous Information Transformer for Scalable Sequential Recommendation [21.435064492654494]
  HeterRecは、アイテム側の異種機能を統合するシーケンシャルレコメンデーションモデルである。 HeterRecはHTFLと階層型因果変圧器層(HCT)を組み込んでいる オフラインとオンライン両方のデータセットに対する大規模な実験は、HeterRecモデルが優れたパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-03-03T12:23:54Z)
• Dimensionality Reduction in Sentence Transformer Vector Databases with Fast Fourier Transform [0.0]
  ベクトルデータベースの次元性低減は、AIデータ管理の合理化に重要である。 本稿では,ベクトルデータベースの次元を減らし,計算効率を重視し,次元の呪いを克服する利点について考察する。 本稿では,Fast Fourier Transform (FFT) の次元化への応用について紹介する。
  論文  参考訳（メタデータ） (2024-04-09T13:02:22Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。