論文の概要: Two-Stage Feature Generation with Transformer and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.21978v1
• Date: Wed, 28 May 2025 05:11:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.421807
• Title: Two-Stage Feature Generation with Transformer and Reinforcement Learning
• Title（参考訳）: 変圧器を用いた2段階特徴生成と強化学習
• Authors: Wanfu Gao, Zengyao Man, Zebin He, Yuhao Tang, Jun Gao, Kunpeng Liu,
• Abstract要約: Two-Stage Feature Generation (TSFG)フレームワークは、Transformerベースのエンコーダデコーダアーキテクチャとプロキシポリシー最適化を統合している。 TSFGは,機能品質と適応性の観点から,既存の最先端手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.151819692081128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature generation is a critical step in machine learning, aiming to enhance model performance by capturing complex relationships within the data and generating meaningful new features. Traditional feature generation methods heavily rely on domain expertise and manual intervention, making the process labor-intensive and challenging to adapt to different scenarios. Although automated feature generation techniques address these issues to some extent, they often face challenges such as feature redundancy, inefficiency in feature space exploration, and limited adaptability to diverse datasets and tasks. To address these problems, we propose a Two-Stage Feature Generation (TSFG) framework, which integrates a Transformer-based encoder-decoder architecture with Proximal Policy Optimization (PPO). The encoder-decoder model in TSFG leverages the Transformer's self-attention mechanism to efficiently represent and transform features, capturing complex dependencies within the data. PPO further enhances TSFG by dynamically adjusting the feature generation strategy based on task-specific feedback, optimizing the process for improved performance and adaptability. TSFG dynamically generates high-quality feature sets, significantly improving the predictive performance of machine learning models. Experimental results demonstrate that TSFG outperforms existing state-of-the-art methods in terms of feature quality and adaptability.
• Abstract（参考訳）: 特徴生成は機械学習における重要なステップであり、データ内の複雑な関係を捕捉し、意味のある新機能を生成することによって、モデルパフォーマンスを向上させることを目的としている。 従来の機能生成手法はドメインの専門知識と手作業による介入に大きく依存しており、プロセスは労働集約的で、異なるシナリオに適応するのは難しい。 自動機能生成技術はこれらの問題にある程度対処するが、機能冗長性、機能空間探索の非効率性、多様なデータセットやタスクへの適応性の制限といった課題に直面することが多い。 これらの問題に対処するため,TransformerベースのエンコーダデコーダアーキテクチャとPPOを統合した2段階特徴生成(TSFG)フレームワークを提案する。 TSFGのエンコーダ・デコーダモデルは、Transformerの自己アテンション機構を利用して、効率的な特徴の表現と変換を行い、データ内の複雑な依存関係をキャプチャする。 PPOはさらに、タスク固有のフィードバックに基づいて機能生成戦略を動的に調整し、パフォーマンスと適応性を改善するプロセスの最適化により、TSFGをさらに強化する。 TSFGはハイクオリティな特徴セットを動的に生成し、機械学習モデルの予測性能を大幅に向上させる。 実験により,TSFGは特徴品質と適応性の観点から,既存の最先端手法よりも優れた性能を示した。

関連論文リスト

• Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation [18.670626228472877]
  DIFFTは報酬誘導型生成タスクとしてフィーチャートランスフォーメーションを再定義する。 構造的かつ離散的な特徴を生成し、機能内依存関係を保持しながら、並列な機能間生成を可能にする。 予測精度とロバスト性において、最先端のベースラインを一貫して上回り、トレーニングや推論時間を大幅に低下させる。
  論文  参考訳（メタデータ） (2025-05-21T06:18:42Z)
• Instruction-Guided Autoregressive Neural Network Parameter Generation [49.800239140036496]
  本稿では,多種多様なタスクやアーキテクチャにまたがるパラメータ合成を統一する自動回帰フレームワークIGPGを提案する。 ニューラルネットワーク重みのトークンを自動回帰的に生成することにより、IGPGは層間コヒーレンスを確保し、モデルとデータセット間の効率的な適応を可能にする。 複数のデータセットの実験により、IGPGは様々な事前訓練されたモデルを単一の柔軟な生成フレームワークに統合することを示した。
  論文  参考訳（メタデータ） (2025-04-02T05:50:19Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Dynamic and Adaptive Feature Generation with LLM [10.142660254703225]
  本稿では,特徴生成プロセスの解釈可能性を高める動的かつ適応的な特徴生成手法を提案する。 弊社のアプローチは、さまざまなデータタイプやタスクに適用可能性を広げ、戦略的柔軟性よりも優位性を引き出す。
  論文  参考訳（メタデータ） (2024-06-04T20:32:14Z)
• Transformer-based Planning for Symbolic Regression [18.90700817248397]
  シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。 従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。 我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
  論文  参考訳（メタデータ） (2023-03-13T03:29:58Z)
• Traceable Automatic Feature Transformation via Cascading Actor-Critic Agents [25.139229855367088]
  特徴変換は機械学習(ML)の有効性と解釈可能性を高めるための必須課題である 特徴変換タスクを、特徴生成と選択の反復的、ネストされたプロセスとして定式化する。 高次元データにおけるSOTAとロバスト性と比較すると,F1スコアの24.7%の改善が見られた。
  論文  参考訳（メタデータ） (2022-12-27T08:20:19Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。