論文の概要: Toward Efficient Automated Feature Engineering
- arxiv url: http://arxiv.org/abs/2212.13152v1
- Date: Mon, 26 Dec 2022 13:18:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:11:26.356458
- Title: Toward Efficient Automated Feature Engineering
- Title(参考訳): 効率的な自動特徴工学を目指して
- Authors: Kafeng Wang, Pengyang Wang and Chengzhong xu
- Abstract要約: 自動特徴工学(AFE)は、下流タスクのための最適な特徴集合を自動生成し、選択することを指す。
現在のAFE手法は、主に生成された機能の有効性の改善に重点を置いているが、大規模展開における低効率の問題を無視している。
強化学習設定に基づいてAFEパイプラインを構築し,各特徴をエージェントに割り当てて特徴変換を行う。
分類タスクと回帰タスクの両方の観点から,36のデータセットに関する総合的な実験を行った。
- 参考スコア(独自算出の注目度): 27.47868891738917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated Feature Engineering (AFE) refers to automatically generate and
select optimal feature sets for downstream tasks, which has achieved great
success in real-world applications. Current AFE methods mainly focus on
improving the effectiveness of the produced features, but ignoring the
low-efficiency issue for large-scale deployment. Therefore, in this work, we
propose a generic framework to improve the efficiency of AFE. Specifically, we
construct the AFE pipeline based on reinforcement learning setting, where each
feature is assigned an agent to perform feature transformation \com{and}
selection, and the evaluation score of the produced features in downstream
tasks serve as the reward to update the policy. We improve the efficiency of
AFE in two perspectives. On the one hand, we develop a Feature Pre-Evaluation
(FPE) Model to reduce the sample size and feature size that are two main
factors on undermining the efficiency of feature evaluation. On the other hand,
we devise a two-stage policy training strategy by running FPE on the
pre-evaluation task as the initialization of the policy to avoid training
policy from scratch. We conduct comprehensive experiments on 36 datasets in
terms of both classification and regression tasks. The results show $2.9\%$
higher performance in average and 2x higher computational efficiency comparing
to state-of-the-art AFE methods.
- Abstract(参考訳): 自動機能エンジニアリング(automated feature engineering, afe)とは、ダウンストリームタスクのための最適な機能セットを自動的に生成し、選択することを指す。
現在のAFE手法は、主に生成された機能の有効性の改善に重点を置いているが、大規模展開における低効率の問題を無視している。
そこで本研究では,AFEの効率向上のための汎用フレームワークを提案する。
具体的には、強化学習設定に基づいてAFEパイプラインを構築し、各特徴をエージェントに割り当て、特徴変換 \com{and}選択を行い、下流タスクで生成された特徴の評価スコアがポリシーを更新する報酬となる。
AFEの効率を2つの視点で改善する。
一方,我々は,特徴評価の効率を損なう2つの主要な要因であるサンプルサイズと特徴量を削減するための特徴事前評価(FPE)モデルを開発した。
一方,我々は,事前評価タスクにおいてfpeを実行し,訓練方針をゼロから回避するための方針の初期化を行い,二段階の政策訓練戦略を考案する。
分類と回帰の両面で36のデータセットについて総合的な実験を行った。
その結果、平均で2.9\%$高い性能を示し、最先端のAFE法と比較して2倍高い計算効率を示した。
関連論文リスト
- Learning Reward for Robot Skills Using Large Language Models via Self-Alignment [11.639973274337274]
大規模言語モデル(LLM)には、報酬関数の学習を支援する可能性のある、貴重なタスク関連の知識が含まれている。
人間のいない場合に報酬をより効率的に学習する方法を提案する。
論文 参考訳(メタデータ) (2024-05-12T04:57:43Z) - Adaptive Testing Environment Generation for Connected and Automated
Vehicles with Dense Reinforcement Learning [7.6589102528398065]
複数のサロゲートモデルを組み込んだアダプティブテスト環境を構築する。
そこで本研究では,高効率な高密度強化学習手法を提案し,新しい適応政策を考案する。
論文 参考訳(メタデータ) (2024-02-29T15:42:33Z) - Sample Efficient Reinforcement Learning by Automatically Learning to
Compose Subtasks [3.1594865504808944]
サブタスクを表すラベルのセットを与えられた場合、サンプル効率のために報酬関数を自動的に構成するRLアルゴリズムを提案する。
我々は,様々なスパース・リワード環境におけるアルゴリズムの評価を行った。
論文 参考訳(メタデータ) (2024-01-25T15:06:40Z) - VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。
VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。
ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
論文 参考訳(メタデータ) (2024-01-15T17:28:37Z) - Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。
自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。
事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
論文 参考訳(メタデータ) (2023-10-05T09:53:22Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳(メタデータ) (2023-08-28T20:46:07Z) - FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning
Using Shared Data on the Server [64.94942635929284]
フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。
本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。
提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2022-04-25T10:00:00Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Efficient Reinforced Feature Selection via Early Stopping Traverse
Strategy [36.890295071860166]
単エージェントモンテカルロ型強化特徴選択法(MCRFS)を提案する。
また,早期停止(ES)戦略と報酬レベルインタラクティブ(RI)戦略の2つの効率改善戦略を提案する。
論文 参考訳(メタデータ) (2021-09-29T03:51:13Z) - APS: Active Pretraining with Successor Features [96.24533716878055]
非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。
提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
論文 参考訳(メタデータ) (2021-08-31T16:30:35Z) - Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
モデルに基づく対向メタ強化学習(AdMRL)を提案する。
AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。
本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
論文 参考訳(メタデータ) (2020-06-16T02:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。