論文の概要: Augmenting data-driven models for energy systems through feature
engineering: A Python framework for feature engineering
- arxiv url: http://arxiv.org/abs/2301.01720v1
- Date: Wed, 4 Jan 2023 17:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 15:49:28.922902
- Title: Augmenting data-driven models for energy systems through feature
engineering: A Python framework for feature engineering
- Title(参考訳): 機能エンジニアリングによるエネルギーシステムのデータ駆動モデルの拡張:機能エンジニアリングのためのPythonフレームワーク
- Authors: Sandra Wilfling
- Abstract要約: この作業では、さまざまな機能エンジニアリングメソッドを含むPythonフレームワークを提示する。
フレームワークの実装はPythonライブラリのScikit-learnに基づいている。
選択された特徴工学手法を含むデータ駆動モデルを作成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven modeling is an approach in energy systems modeling that has been
gaining popularity. In data-driven modeling, machine learning methods such as
linear regression, neural networks or decision-tree based methods are being
applied. While these methods do not require domain knowledge, they are
sensitive to data quality. Therefore, improving data quality in a dataset is
beneficial for creating machine learning-based models. The improvement of data
quality can be implemented through preprocessing methods. A selected type of
preprocessing is feature engineering, which focuses on evaluating and improving
the quality of certain features inside the dataset. Feature engineering methods
include methods such as feature creation, feature expansion, or feature
selection. In this work, a Python framework containing different feature
engineering methods is presented. This framework contains different methods for
feature creation, expansion and selection; in addition, methods for
transforming or filtering data are implemented. The implementation of the
framework is based on the Python library scikit-learn. The framework is
demonstrated on a case study of a use case from energy demand prediction. A
data-driven model is created including selected feature engineering methods.
The results show an improvement in prediction accuracy through the engineered
features.
- Abstract(参考訳): データ駆動モデリングは、エネルギーシステムモデリングにおけるアプローチであり、人気を博している。
データ駆動モデリングでは、線形回帰、ニューラルネットワーク、決定木に基づく手法などの機械学習手法が適用されている。
これらの手法はドメイン知識を必要としないが、データ品質に敏感である。
したがって、データセットのデータ品質を改善することは、機械学習ベースのモデルを作成する上で有益である。
データ品質の改善は前処理によって実現できる。
選択されたプリプロセスは機能エンジニアリングであり、データセット内の特定の機能の評価と改善に焦点を当てている。
機能エンジニアリング手法には、機能生成、機能拡張、機能選択などの方法が含まれる。
この作業では、異なる機能エンジニアリングメソッドを含むPythonフレームワークが紹介される。
このフレームワークは、特徴の生成、拡張、選択のための異なる方法を含み、さらに、データの変換やフィルタリングの方法が実装されている。
フレームワークの実装はPythonライブラリのScikit-learnに基づいている。
この枠組みはエネルギー需要予測によるユースケースのケーススタディで実証されている。
選択された特徴工学手法を含むデータ駆動モデルを作成する。
その結果,工学的特徴により予測精度が向上した。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳(メタデータ) (2024-10-30T17:20:10Z) - An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳(メタデータ) (2024-02-26T07:22:51Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳(メタデータ) (2024-01-23T17:22:00Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Automatic learning algorithm selection for classification via
convolutional neural networks [0.0]
本研究の目的は,メタ機能を特定することなく,データ固有の構造を学習することである。
シミュレーションデータセットを用いた実験により, 線形および非線形パターンの同定において, 提案手法がほぼ完璧な性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-05-16T01:57:01Z) - Feature Selection Tutorial with Python Examples [2.127049691404299]
機械学習では、モデル開発に使用するデータセットで利用可能な機能のサブセットを選択する必要がある。
本稿では,Python の実装における主要な手法の概要と実例を紹介する。
論文 参考訳(メタデータ) (2021-06-11T14:49:43Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Dataset Dynamics via Gradient Flows in Probability Space [15.153110906331733]
本稿では,データ生成連立確率分布の最適化を目的とした,データセット変換のための新しいフレームワークを提案する。
このフレームワークは、分類データセットに制約を課したり、トランスファーラーニングに適応させたり、固定またはブラックボックスモデルを再使用して -- 高精度で -- 以前は見つからなかったデータセットを分類するために使用することができる。
論文 参考訳(メタデータ) (2020-10-24T03:29:22Z) - ABM: an automatic supervised feature engineering method for loss based
models based on group and fused lasso [0.0]
分類や回帰問題の解決における重要な問題は、モデルに入力される前のデータに特徴工学と変数選択を適用することである。
本稿では,グループとラッソを融合したエンドツーエンドのカットポイント選択手法を提案する。
論文 参考訳(メタデータ) (2020-09-22T12:42:22Z) - Feature Selection Methods for Uplift Modeling and Heterogeneous
Treatment Effect [1.349645012479288]
アップリフトモデリングは、サブグループレベルの治療効果を推定する因果学習手法である。
従来の機能選択の方法は、そのタスクには適していない。
本稿では,アップリフトモデリングのための特徴選択手法を提案する。
論文 参考訳(メタデータ) (2020-05-05T00:28:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。