論文の概要: Differentiable Genetic Programming for High-dimensional Symbolic Regression

• arxiv url: http://arxiv.org/abs/2304.08915v1
• Date: Tue, 18 Apr 2023 11:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 14:58:10.428081
• Title: Differentiable Genetic Programming for High-dimensional Symbolic Regression
• Title（参考訳）: 高次元シンボリック回帰のための微分可能遺伝的プログラミング
• Authors: Peng Zeng, Xiaotian Song, Andrew Lensen, Yuwei Ou, Yanan Sun, Mengjie Zhang, Jiancheng Lv
• Abstract要約: シンボリック・レグレッション(SR)は、解釈可能な機械学習(ML)に到達するための効果的な方法と考えられている 遺伝的プログラミング(GP)は、SR問題の解決における支配者となっている。 GP木を高次元SRに向けて構築するための DGP という微分可能な手法を提案する。
• 参考スコア（独自算出の注目度）: 13.230237932229052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression (SR) is the process of discovering hidden relationships from data with mathematical expressions, which is considered an effective way to reach interpretable machine learning (ML). Genetic programming (GP) has been the dominator in solving SR problems. However, as the scale of SR problems increases, GP often poorly demonstrates and cannot effectively address the real-world high-dimensional problems. This limitation is mainly caused by the stochastic evolutionary nature of traditional GP in constructing the trees. In this paper, we propose a differentiable approach named DGP to construct GP trees towards high-dimensional SR for the first time. Specifically, a new data structure called differentiable symbolic tree is proposed to relax the discrete structure to be continuous, thus a gradient-based optimizer can be presented for the efficient optimization. In addition, a sampling method is proposed to eliminate the discrepancy caused by the above relaxation for valid symbolic expressions. Furthermore, a diversification mechanism is introduced to promote the optimizer escaping from local optima for globally better solutions. With these designs, the proposed DGP method can efficiently search for the GP trees with higher performance, thus being capable of dealing with high-dimensional SR. To demonstrate the effectiveness of DGP, we conducted various experiments against the state of the arts based on both GP and deep neural networks. The experiment results reveal that DGP can outperform these chosen peer competitors on high-dimensional regression benchmarks with dimensions varying from tens to thousands. In addition, on the synthetic SR problems, the proposed DGP method can also achieve the best recovery rate even with different noisy levels. It is believed this work can facilitate SR being a powerful alternative to interpretable ML for a broader range of real-world problems.
• Abstract（参考訳）: シンボリック回帰(sr)は、解釈可能な機械学習(ml)に到達する効果的な方法と考えられている、数式データから隠れた関係を発見するプロセスである。 遺伝的プログラミング(gp)はsr問題を解決するための支配者である。 しかし,sr問題の規模が大きくなるにつれてgpは実世界の高次元問題に対して十分に対処できないことが多い。 この制限は主に、木を構築する際に伝統的なGPの確率論的進化性によって引き起こされる。 本稿では,GP木を高次元SRに向けて初めて構築するためのDGPという微分可能なアプローチを提案する。 具体的には、離散構造を連続的に緩和するために、微分可能なシンボルツリーと呼ばれる新しいデータ構造を提案し、効率的な最適化のために勾配に基づくオプティマイザを提示することができる。 また, 有効な記号表現に対する上記の緩和による不一致を解消するために, サンプリング法を提案する。 さらに, 局所最適解から脱出する最適化器のグローバルな最適化を促進するため, 多様化機構を導入している。 これらの設計により,提案手法は高い性能でGP木を効率的に探索し,高次元のSRを扱うことができる。 dgpの有効性を実証するために、gpとディープニューラルネットワークの両方に基づく芸術の現状について様々な実験を行った。 実験の結果,DGPは,10から数千の次元を持つ高次元回帰ベンチマークにおいて,これらの選択した競合相手よりも優れていることがわかった。 さらに, 合成SR問題に対して, 雑音レベルが異なる場合でも, DGP法は最高の回復率を達成することができる。 この研究は、幅広い現実世界の問題に対してMLを解釈する強力な代替手段としてSRを促進することができると考えられている。

関連論文リスト

• A Functional Analysis Approach to Symbolic Regression [0.990319860068191]
  記号回帰(SR)はランダム化探索において重要な課題である。 伝統的な遺伝的プログラミング(GP)アルゴリズムは、SRに木に基づく表現を用いる場合、限られた性能を示す。 機能解析から洞察を引き出す新しいSR手法を提案する。
  論文  参考訳（メタデータ） (2024-02-09T10:24:47Z)
• Domain Invariant Learning for Gaussian Processes and Bayesian Exploration [39.83530605880014]
  そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。 数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-18T16:13:34Z)
• GFN-SR: Symbolic Regression with Generative Flow Networks [0.9208007322096533]
  近年,DSR(Deep symbolic regression)がこの分野の一般的な手法として登場している。 ディープラーニングを用いてSRにアプローチするための代替フレームワーク(GFN-SR)を提案する。 GFN-SRは多種多様な最適表現を生成することができる。
  論文  参考訳（メタデータ） (2023-12-01T07:38:05Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• ParFam -- (Neural Guided) Symbolic Regression Based on Continuous Global Optimization [14.146976111782466]
  我々は、離散的記号回帰問題を連続的な問題に変換するために、新しいアプローチであるParFamを提案する。 グローバルな手法と組み合わせることで、SRの問題に対処する非常に効果的な手法がもたらされる。 また、ParFamをガイドするために、事前訓練されたトランスフォーマーネットワークDL-ParFamを組み込んだ拡張も提案する。
  論文  参考訳（メタデータ） (2023-10-09T09:01:25Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• GSR: A Generalized Symbolic Regression Approach [13.606672419862047]
  本論文では, 一般化記号回帰について述べる。 GSR法は、よく知られたシンボリック回帰ベンチマーク問題セットにおいて、最先端のいくつかの手法よりも優れていることを示す。 既存のベンチマークと比較して、より困難な新しいSRベンチマークセットであるSymSetを導入することで、GSRの強みを強調します。
  論文  参考訳（メタデータ） (2022-05-31T07:20:17Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。