論文の概要: Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions

• arxiv url: http://arxiv.org/abs/2309.13618v1
• Date: Sun, 24 Sep 2023 12:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 18:30:54.209857
• Title: Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions
• Title（参考訳）: 強化強調自己回帰的特徴変換:ポストフィックス表現のための連続空間における勾配ステアリング探索
• Authors: Dongjie Wang and Meng Xiao and Min Wu and Pengfei Wang and Yuanchun Zhou and Yanjie Fu
• Abstract要約: 離散的な特徴変換を連続的な空間最適化タスクとして再構成し,組込み最適化・再構成フレームワークを開発する。 本フレームワークは,1)高品質な変換精度トレーニングデータ作成を目的とした強化強化データ作成,2)連続空間内で準備されたトレーニングデータの知識をカプセル化することを目的とした特徴変換操作シーケンス埋め込み,3)学習空間内の潜在的に優れた埋め込みを明らかにするための勾配制御された最適埋め込み探索,の4段階を含む。
• 参考スコア（独自算出の注目度）: 34.32619834917906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature transformation aims to generate new pattern-discriminative feature space from original features to improve downstream machine learning (ML) task performances. However, the discrete search space for the optimal feature explosively grows on the basis of combinations of features and operations from low-order forms to high-order forms. Existing methods, such as exhaustive search, expansion reduction, evolutionary algorithms, reinforcement learning, and iterative greedy, suffer from large search space. Overly emphasizing efficiency in algorithm design usually sacrifices stability or robustness. To fundamentally fill this gap, we reformulate discrete feature transformation as a continuous space optimization task and develop an embedding-optimization-reconstruction framework. This framework includes four steps: 1) reinforcement-enhanced data preparation, aiming to prepare high-quality transformation-accuracy training data; 2) feature transformation operation sequence embedding, intending to encapsulate the knowledge of prepared training data within a continuous space; 3) gradient-steered optimal embedding search, dedicating to uncover potentially superior embeddings within the learned space; 4) transformation operation sequence reconstruction, striving to reproduce the feature transformation solution to pinpoint the optimal feature space.
• Abstract（参考訳）: 特徴変換は、ダウンストリーム機械学習(ML)タスクのパフォーマンスを改善するために、オリジナルの機能から新しいパターン識別機能空間を生成することを目的としている。 しかし、最適な特徴に対する離散探索空間は、低次形式から高次形式への特徴と操作の組み合わせに基づいて爆発的に増大する。 網羅的探索、拡張縮小、進化アルゴリズム、強化学習、反復的欲求といった既存の手法は、大きな検索空間に悩まされている。 アルゴリズム設計の効率を過度に強調すると、通常は安定性や堅牢性が犠牲になる。 このギャップを埋めるために,我々は離散的特徴変換を連続空間最適化タスクとして再構成し,組込み最適化・再構成フレームワークを開発した。 このフレームワークには4つのステップがある。 1)高品質なトランスフォーメーション精度トレーニングデータの作成を目的とした強化強化データ準備 2) 準備された訓練データの知識を連続空間にカプセル化しようとする特徴変換操作シーケンス埋め込み 3) 学習空間内の潜在的に優れた埋め込みを明らかにするために,勾配制御された最適埋め込み探索 4) 変換操作シーケンスの再構成、最適な特徴空間をピンポイントするために特徴変換溶液を再現すること。

関連論文リスト

• Evolutionary Large Language Model for Automated Feature Transformation [25.956740176321897]
  自動特徴変換のための進化的Large Language Model (LLM) フレームワークを提案する。 本フレームワークは,1)RLデータコレクタによるマルチポピュレーションデータベースの構築,2)大規模言語モデル(LLM)のシーケンス理解能力を活用した2つの部分から構成される。 提案手法の有効性と汎用性を実証的に示す。
  論文  参考訳（メタデータ） (2024-05-25T12:27:21Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A Dual Optimization Perspective [33.45878576396101]
  特徴変換は、既存の特徴を数学的に洗練することにより、効果的な表現空間を再構築することを目的としている。 既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に重点を置いている。 最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出したのです。
  論文  参考訳（メタデータ） (2023-06-29T12:29:21Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection [34.32619834917906]
  我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。 本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。 具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2023-02-26T03:18:45Z)
• Traceable Automatic Feature Transformation via Cascading Actor-Critic Agents [25.139229855367088]
  特徴変換は機械学習(ML)の有効性と解釈可能性を高めるための必須課題である 特徴変換タスクを、特徴生成と選択の反復的、ネストされたプロセスとして定式化する。 高次元データにおけるSOTAとロバスト性と比較すると,F1スコアの24.7%の改善が見られた。
  論文  参考訳（メタデータ） (2022-12-27T08:20:19Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Group-wise Reinforcement Feature Generation for Optimal and Explainable Representation Space Reconstruction [25.604176830832586]
  我々は表現空間の再構成をネストした特徴生成と選択の対話的なプロセスに再構成する。 我々は、機能群、操作群、および他の機能群を横断して新機能を生成するグループワイズ生成戦略を設計する。 システムの有効性, 効率, トレーサビリティ, 明示性を実証するための広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-28T21:34:14Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。