論文の概要: Symbolic regression via MDLformer-guided search: from minimizing prediction error to minimizing description length

• arxiv url: http://arxiv.org/abs/2411.03753v1
• Date: Wed, 06 Nov 2024 08:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:22:58.293911
• Title: Symbolic regression via MDLformer-guided search: from minimizing prediction error to minimizing description length
• Title（参考訳）: MDLformer-Guided Searchによる記号回帰:予測誤差の最小化から記述長の最小化まで
• Authors: Zihan Yu, Jingtao Ding, Yong Li,
• Abstract要約: 対象からの距離を反映した最小記述長に基づく新しい探索対象を提案する。 そこで我々は, 公式の正しい数学的形式を効果的に復元できる記号回帰法SR4MDLを実装した。 提案手法は,2つのベンチマークデータセットにまたがって約50の式を復元し,43.92%の精度で最先端の手法を再現する。
• 参考スコア（独自算出の注目度）: 11.52040489046938
• License:
• Abstract: Symbolic regression, a task discovering the formula best fitting the given data, is typically based on the heuristical search. These methods usually update candidate formulas to obtain new ones with lower prediction errors iteratively. However, since formulas with similar function shapes may have completely different symbolic forms, the prediction error does not decrease monotonously as the search approaches the target formula, causing the low recovery rate of existing methods. To solve this problem, we propose a novel search objective based on the minimum description length, which reflects the distance from the target and decreases monotonically as the search approaches the correct form of the target formula. To estimate the minimum description length of any input data, we design a neural network, MDLformer, which enables robust and scalable estimation through large-scale training. With the MDLformer's output as the search objective, we implement a symbolic regression method, SR4MDL, that can effectively recover the correct mathematical form of the formula. Extensive experiments illustrate its excellent performance in recovering formulas from data. Our method successfully recovers around 50 formulas across two benchmark datasets comprising 133 problems, outperforming state-of-the-art methods by 43.92%.
• Abstract（参考訳）: シンボリック回帰(シンボリックレグレッション、英: Symbolic regression)は、与えられたデータに最も適合する公式を発見するタスクであり、典型的にはヒューリスティックな探索に基づいている。 これらの手法は通常、予測誤差の低い新しい式を反復的に取得するために候補式を更新する。 しかし, 類似関数形状の式は記号形式が全く異なるため, 探索が対象の式に近づくと, 予測誤差は単調に減少せず, 既存手法の回復率も低くなる。 そこで本研究では,対象からの距離を反映した最小記述長に基づく新たな探索目標を提案し,探索が対象公式の正しい形式に近づくと単調に減少する。 入力データの最小記述長を推定するために,大規模トレーニングによる堅牢でスケーラブルな推定を可能にするニューラルネットワーク MDLformer を設計する。 MDLformer の出力を探索目的として, 公式の正しい数学的形式を効果的に復元できる記号回帰手法 SR4MDL を実装した。 大規模な実験は、データから公式を回収する際の優れた性能を示している。 提案手法は,133問題を含む2つのベンチマークデータセットで約50の式を復元し,43.92%の精度で最先端の手法を達成した。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• An interpretable prediction model for longitudinal dispersion coefficient in natural streams based on evolutionary symbolic regression network [30.99493442296212]
  縦分散係数(LDC)の予測には様々な方法が提案されている。 本稿では,まずこれらの手法の詳細な解析を行い,その欠陥を明らかにする。 次に、進化的記号回帰ネットワーク(ESRN)と呼ばれる新しい記号回帰法を設計する。
  論文  参考訳（メタデータ） (2021-06-17T07:06:05Z)
• Shape-constrained Symbolic Regression -- Improving Extrapolation with Prior Knowledge [0.0]
  目的は、期待される振る舞いに適合し、能力を改善したモデルを見つけることである。 アルゴリズムは19の合成問題と4つの現実世界の回帰問題でテストされる。 形状制約レグレッションは、テストセットに最適な結果をもたらすが、さらに大きなモデルも生成する。
  論文  参考訳（メタデータ） (2021-03-29T14:04:18Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data [4.725669222165439]
  破損したデータの教師なし回復のための新しい確率的手法を提案する。 劣化したサンプルの大規模なアンサンブルを考慮し,クリーンな値の正確な後部を復元する。 我々は、欠落した値とノイズの共通の設定の下で、データリカバリタスクでモデルをテストします。
  論文  参考訳（メタデータ） (2020-06-30T16:18:16Z)
• AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity [8.594811303203581]
  本稿では,Pareto-Optimal式にデータを適合させようとする記号回帰法の改良について述べる。 これは、通常、ノイズや悪いデータに対して、桁違いに堅牢であることによって、過去の最先端を改善する。 ニューラルネットワークの勾配特性から一般化対称性を発見する手法を開発した。
  論文  参考訳（メタデータ） (2020-06-18T18:01:19Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。