論文の概要: Symbolic Regression as Feature Engineering Method for Machine and Deep Learning Regression Tasks

• arxiv url: http://arxiv.org/abs/2311.06028v1
• Date: Fri, 10 Nov 2023 12:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 15:20:31.152799
• Title: Symbolic Regression as Feature Engineering Method for Machine and Deep Learning Regression Tasks
• Title（参考訳）: 機械・深層学習回帰作業の特徴工学的手法としての記号回帰
• Authors: Assaf Shmuel, Oren Glickman, Teddy Lazebnik
• Abstract要約: 本研究では,機械学習モデルに先立って,記号回帰(SR)を効果的な特徴工学(FE)プロセスとして統合することを提案する。 合成および実世界の物理関連データセットを広範囲に実験することにより、SR起源の特徴の組み入れにより、機械学習とディープラーニングの回帰モデルの両方の予測能力が著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the realm of machine and deep learning regression tasks, the role of effective feature engineering (FE) is pivotal in enhancing model performance. Traditional approaches of FE often rely on domain expertise to manually design features for machine learning models. In the context of deep learning models, the FE is embedded in the neural network's architecture, making it hard for interpretation. In this study, we propose to integrate symbolic regression (SR) as an FE process before a machine learning model to improve its performance. We show, through extensive experimentation on synthetic and real-world physics-related datasets, that the incorporation of SR-derived features significantly enhances the predictive capabilities of both machine and deep learning regression models with 34-86% root mean square error (RMSE) improvement in synthetic datasets and 4-11.5% improvement in real-world datasets. In addition, as a realistic use-case, we show the proposed method improves the machine learning performance in predicting superconducting critical temperatures based on Eliashberg theory by more than 20% in terms of RMSE. These results outline the potential of SR as an FE component in data-driven models.
• Abstract（参考訳）: 機械学習とディープラーニングの回帰タスクの領域では、効果的な特徴工学(FE)の役割がモデル性能の向上に重要である。 従来のFEのアプローチは、しばしば機械学習モデルの機能を手動で設計するドメインの専門知識に依存している。 ディープラーニングモデルのコンテキストでは、FEはニューラルネットワークのアーキテクチャに組み込まれており、解釈が難しい。 本研究では,機械学習モデルに先立って,シンボル回帰(SR)をFEプロセスに統合し,その性能を改善することを提案する。 合成および実世界の物理関連データセットに関する広範な実験を通じて、SRから派生した特徴の組み入れにより、合成データセットの34～86%のルート平均二乗誤差(RMSE)の改善と実世界のデータセットの4～11.5%の改善により、機械学習およびディープラーニング回帰モデルの予測能力が著しく向上することを示した。 さらに, 実例として, この提案手法は, RMSE の観点でEliashberg 理論に基づく超伝導臨界温度の予測において, 機械学習の性能を20%以上向上することを示す。 これらの結果は、データ駆動モデルにおける FE コンポーネントとしての SR の可能性の概要である。

関連論文リスト

• Efficient Frequency Selective Surface Analysis via End-to-End Model-Based Learning [2.66269503676104]
  本稿では、高次元周波数選択面(FSS)の効率的な電磁解析のための革新的なエンドツーエンドモデルに基づくディープラーニング手法を提案する。 大規模なデータセットを必要とする従来のデータ駆動手法とは異なり、このアプローチは等価回路モデルからの物理的な洞察とディープラーニング技術を組み合わせて、モデルの複雑さを著しく低減し、予測精度を高める。
  論文  参考訳（メタデータ） (2024-10-22T07:27:20Z)
• RVRAE: A Dynamic Factor Model Based on Variational Recurrent Autoencoder for Stock Returns Prediction [5.281288833470249]
  RVRAEは、市場データの時間的依存関係とノイズに対処する確率論的アプローチである。 揮発性株式市場のリスクモデリングに長けており、潜在空間分布からのばらつきを推定し、リターンを予測する。
  論文  参考訳（メタデータ） (2024-03-04T21:48:32Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• End-to-End Speech Recognition: A Survey [68.35707678386949]
  本調査の目的は、E2E ASRモデルの分類とそれに対応する改善を提供することである。 E2E ASRのすべての関連する側面は、パフォーマンスとデプロイメントの機会に関する議論を伴う、この作業でカバーされている。
  論文  参考訳（メタデータ） (2023-03-03T01:46:41Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。