論文の概要: DIFER: Differentiable Automated Feature Engineering

• arxiv url: http://arxiv.org/abs/2010.08784v2
• Date: Thu, 7 Jan 2021 02:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 09:02:26.373934
• Title: DIFER: Differentiable Automated Feature Engineering
• Title（参考訳）: DIFER: 差別化可能な自動機能エンジニアリング
• Authors: Guanghui Zhu, Zhuoer Xu, Xu Guo, Chunfeng Yuan, Yihua Huang
• Abstract要約: 機械学習の重要なステップである機能エンジニアリングは、生データから有用な機能を抽出し、データ品質を改善することを目的としている。 連続ベクトル空間における微分可能自動特徴工学を実現するために,DIFERと呼ばれる効率的な勾配法を提案する。 この結果から,DIFERは機械学習アルゴリズムの性能を著しく向上させ,現在のAutoFE手法よりも効率と性能の両面で優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.961270020632362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature engineering, a crucial step of machine learning, aims to extract useful features from raw data to improve data quality. In recent years, great efforts have been devoted to Automated Feature Engineering (AutoFE) to replace expensive human labor. However, existing methods are computationally demanding due to treating AutoFE as a coarse-grained black-box optimization problem over a discrete space. In this work, we propose an efficient gradient-based method called DIFER to perform differentiable automated feature engineering in a continuous vector space. DIFER selects potential features based on evolutionary algorithm and leverages an encoder-predictor-decoder controller to optimize existing features. We map features into the continuous vector space via the encoder, optimize the embedding along the gradient direction induced by the predicted score, and recover better features from the optimized embedding by the decoder. Extensive experiments on classification and regression datasets demonstrate that DIFER can significantly improve the performance of various machine learning algorithms and outperform current state-of-the-art AutoFE methods in terms of both efficiency and performance.
• Abstract（参考訳）: 機械学習の重要なステップである機能エンジニアリングは、データ品質を改善するために生データから有用な機能を抽出することを目的としている。 近年,高額な人的労働を代替するAutoFE(Automated Feature Engineering)に多大な努力が注がれている。 しかし、既存の手法は離散空間上の粗粒度ブラックボックス最適化問題としてAutoFEを扱い、計算的に要求されている。 本研究では、連続ベクトル空間における微分可能自動特徴工学を実現するために、DIFERと呼ばれる効率的な勾配法を提案する。 DIFERは進化的アルゴリズムに基づいて潜在的な機能を選択し、エンコーダ予測デコーダコントローラを利用して既存の機能を最適化する。 我々は,エンコーダを介して連続ベクトル空間に特徴をマップし,予測スコアによって誘導される勾配方向の埋め込みを最適化し,デコーダにより最適化された埋め込みからより良い特徴を回復する。 分類と回帰データセットに関する広範な実験は、diferが様々な機械学習アルゴリズムのパフォーマンスを著しく改善し、効率と性能の両面で現在のautofeメソッドを上回っていることを示している。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix [9.629238108795013]
  本稿では,2段階の勾配差を対角線要素として利用して,プレコンディショニング行列の設計手法を提案する。 我々は、自然言語処理(NLP)、コンピュータビジョン(CV)、レコメンデーションシステム(RecSys)の一般化に関するAGDの評価を行った。 実験の結果,AGDは最先端技術(SOTA)よりも優れており,高い競争力や予測性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T06:20:14Z)
• FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
  本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。 我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。 AOMIC PIOP1による脳MRIデータへの応用について述べる。
  論文  参考訳（メタデータ） (2023-03-26T19:41:17Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining [1.5293427903448025]
  深部生成モデルから学習した低次元連続潜伏多様体の最適化を行う,効率的なブラックボックス最適化のための改良手法を提案する。 最適化軌道に沿ってクエリされたデータポイントの生成モデルを定期的に再学習し、目的関数値に応じてこれらのデータポイントを重み付けすることで、これを実現する。 この重み付けされたリトレーニングは既存の手法で容易に実装でき、合成および実世界の最適化問題において、その効率と性能を著しく向上することが実証的に示されている。
  論文  参考訳（メタデータ） (2020-06-16T14:34:40Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。