論文の概要: Deep Generative Symbolic Regression

• arxiv url: http://arxiv.org/abs/2401.00282v1
• Date: Sat, 30 Dec 2023 17:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 18:05:27.185319
• Title: Deep Generative Symbolic Regression
• Title（参考訳）: 深部生成的記号回帰
• Authors: Samuel Holt, Zhaozhi Qian, Mihaela van der Schaar
• Abstract要約: 記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
• 参考スコア（独自算出の注目度）: 83.04219479605801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) aims to discover concise closed-form mathematical equations from data, a task fundamental to scientific discovery. However, the problem is highly challenging because closed-form equations lie in a complex combinatorial search space. Existing methods, ranging from heuristic search to reinforcement learning, fail to scale with the number of input variables. We make the observation that closed-form equations often have structural characteristics and invariances (e.g., the commutative law) that could be further exploited to build more effective symbolic regression solutions. Motivated by this observation, our key contribution is to leverage pre-trained deep generative models to capture the intrinsic regularities of equations, thereby providing a solid foundation for subsequent optimization steps. We show that our novel formalism unifies several prominent approaches of symbolic regression and offers a new perspective to justify and improve on the previous ad hoc designs, such as the usage of cross-entropy loss during pre-training. Specifically, we propose an instantiation of our framework, Deep Generative Symbolic Regression (DGSR). In our experiments, we show that DGSR achieves a higher recovery rate of true equations in the setting of a larger number of input variables, and it is more computationally efficient at inference time than state-of-the-art RL symbolic regression solutions.
• Abstract（参考訳）: 記号回帰(SR)は、科学的発見の基礎となるデータから簡潔な閉形式数学的方程式を発見することを目的としている。 しかし、閉形式方程式が複雑な組合せ探索空間にあるため、この問題は非常に難しい。 既存の手法は、ヒューリスティック検索から強化学習まで、入力変数の数に応じてスケールできない。 閉形式方程式はしばしば構造的特徴と不変性(例えば可換法則)を持ち、より効果的な記号的回帰解を構築するためにさらに活用できることを観察する。 この観察に動機づけられた我々の重要な貢献は、事前訓練された深層生成モデルを利用して方程式の固有正則性を捉えることである。 我々の新しい形式主義は象徴的回帰のいくつかの顕著なアプローチを統一し、事前学習におけるクロスエントロピー損失の使用など、従来のアドホックデザインを正当化し改善するための新たな視点を提供する。 具体的には,我々のフレームワークであるDeep Generative Symbolic Regression(DGSR)のインスタンス化を提案する。 実験の結果,DGSRは多数の入力変数の設定において真の方程式の回復率が高く,予測時間では最先端のRLシンボリック回帰解よりも計算効率がよいことがわかった。

関連論文リスト

• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• A Transformer Model for Symbolic Regression towards Scientific Discovery [11.827358526480323]
  記号回帰(SR)は、数値データセットを最もよく記述する数学的表現を探索する。 本稿では, シンボリック回帰に着目した新しいトランスフォーマーモデルを提案する。 我々は、正規化ツリーベース編集距離を用いて、最先端の結果を出力するSRSDデータセットにベストモデルを適用した。
  論文  参考訳（メタデータ） (2023-12-07T06:27:48Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Mutual Information Learned Regressor: an Information-theoretic Viewpoint of Training Regression Systems [10.314518385506007]
  回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。 近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。 本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
  論文  参考訳（メタデータ） (2022-11-23T03:43:22Z)
• Neural Symbolic Regression that Scales [58.45115548924735]
  本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。 我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2021-06-11T14:35:22Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity [8.594811303203581]
  本稿では,Pareto-Optimal式にデータを適合させようとする記号回帰法の改良について述べる。 これは、通常、ノイズや悪いデータに対して、桁違いに堅牢であることによって、過去の最先端を改善する。 ニューラルネットワークの勾配特性から一般化対称性を発見する手法を開発した。
  論文  参考訳（メタデータ） (2020-06-18T18:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。