論文の概要: Local Optimization Often is Ill-conditioned in Genetic Programming for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2209.00942v1
• Date: Fri, 2 Sep 2022 10:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:16:00.136517
• Title: Local Optimization Often is Ill-conditioned in Genetic Programming for Symbolic Regression
• Title（参考訳）: シンボリック回帰のための遺伝的プログラミングにおける局所最適化
• Authors: Gabriel Kronberger
• Abstract要約: NLSヤコビ行列の特異値分解を用いて、数値階数と条件数を決定する。 以上の結果から,ランク不足および不条件ヤコビ行列は全データセットに対して頻繁に発生することが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based local optimization has been shown to improve results of genetic programming (GP) for symbolic regression. Several state-of-the-art GP implementations use iterative nonlinear least squares (NLS) algorithms such as the Levenberg-Marquardt algorithm for local optimization. The effectiveness of NLS algorithms depends on appropriate scaling and conditioning of the optimization problem. This has so far been ignored in symbolic regression and GP literature. In this study we use a singular value decomposition of NLS Jacobian matrices to determine the numeric rank and the condition number. We perform experiments with a GP implementation and six different benchmark datasets. Our results show that rank-deficient and ill-conditioned Jacobian matrices occur frequently and for all datasets. The issue is less extreme when restricting GP tree size and when using many non-linear functions in the function set.
• Abstract（参考訳）: 勾配に基づく局所最適化は、シンボル回帰のための遺伝的プログラミング(GP)の結果を改善することが示されている。 いくつかの最先端GP実装では、局所最適化にレバンス・マルカルトアルゴリズムのような反復非線形最小二乗アルゴリズムを用いる。 NLSアルゴリズムの有効性は最適化問題の適切なスケーリングと条件付けに依存する。 これはこれまでのところ、記号回帰やGP文学では無視されている。 本研究では, nlsヤコビ行列の特異値分解を用いて数値階数と条件数を決定する。 GP実装と6つの異なるベンチマークデータセットを用いて実験を行う。 以上の結果から,ランク不足および不条件ヤコビ行列は全データセットに対して頻繁に発生することが明らかとなった。 gp木のサイズを制限したり、関数集合で多くの非線形関数を使用する場合、この問題は極端ではない。

関連論文リスト

• Taylor Genetic Programming for Symbolic Regression [5.371028373792346]
  遺伝的プログラミング(GP)は、記号回帰(SR)問題を解決するために一般的に用いられる手法である。 そこで我々はTaylorGP (Taylor Genetic Programming) を提案し,データセットに適合するシンボリック方程式を近似する。 TaylorGPは9つのベースライン法よりも精度が高いだけでなく、安定した結果を見つけるのにも速い。
  論文  参考訳（メタデータ） (2022-04-28T13:43:39Z)
• Alternating Mahalanobis Distance Minimization for Stable and Accurate CP Decomposition [4.847980206213335]
  本稿では, テンソルの特異値とベクトルを導出するための新しい定式化を導入する。 このアルゴリズムのサブスウィープは、既知のランクの正確なCPDに対して超線形収束率を達成することができることを示す。 すると、アルゴリズムは各因子に対するマハラノビス距離を最適化するものであり、基底距離は他の因子に依存していると見なす。
  論文  参考訳（メタデータ） (2022-04-14T19:56:36Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Accelerating Genetic Programming using GPUs [0.0]
  遺伝的プログラミング(GP)は、曲線フィッティング、データモデリング、特徴選択、分類など、機械学習に複数の応用がある。 本稿では,代用GPアルゴリズムのGPUアクセラレーションスタックに基づく変種について述べる。
  論文  参考訳（メタデータ） (2021-10-15T06:13:01Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Symbolic Regression using Mixed-Integer Nonlinear Optimization [9.638685454900047]
  シンボリック回帰(SR)問題は、機械学習において難しい問題である。 混合整数非線形最適化と明示列挙法を組み合わせたハイブリッドアルゴリズムを提案する。 我々のアルゴリズムは、いくつかの合成データセットに対して、最先端のSRソフトウェアと最近の物理学に触発されたAI Feynmanという手法で競合していることを示す。
  論文  参考訳（メタデータ） (2020-06-11T20:53:17Z)
• Improved SVRG for quadratic functions [0.0]
  ヘッセン行列 $H$ がランダム対称 $dtimes d$ 行列の期待値である二次函数を最小化する反復アルゴリズムを解析する。 最小二乗回帰、リッジ回帰、線形判別分析、正規化線形判別分析を含むいくつかのアプリケーションでは、各イテレーションの実行時間は$d$に比例する。
  論文  参考訳（メタデータ） (2020-06-01T15:28:08Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。