論文の概要: Towards Scaling Laws for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2510.26064v1
• Date: Thu, 30 Oct 2025 01:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.624914
• Title: Towards Scaling Laws for Symbolic Regression
• Title（参考訳）: シンボリック回帰のスケーリング法則に向けて
• Authors: David Otte, Jörg K. H. Franke, Frank Hutter,
• Abstract要約: 記号回帰は、観測データを説明する基礎となる数学的表現を発見することを目的としている。 ディープラーニングベースのSRは、最近、遺伝的プログラミングアプローチと競合している。 本稿では、拡張性のあるエンドツーエンドトランスフォーマーパイプラインを用いて、SRにおけるスケーリングに関する最初の体系的な研究を示す。
• 参考スコア（独自算出の注目度）: 45.609070591068836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) aims to discover the underlying mathematical expressions that explain observed data. This holds promise for both gaining scientific insight and for producing inherently interpretable and generalizable models for tabular data. In this work we focus on the basics of SR. Deep learning-based SR has recently become competitive with genetic programming approaches, but the role of scale has remained largely unexplored. Inspired by scaling laws in language modeling, we present the first systematic investigation of scaling in SR, using a scalable end-to-end transformer pipeline and carefully generated training data. Across five different model sizes and spanning three orders of magnitude in compute, we find that both validation loss and solved rate follow clear power-law trends with compute. We further identify compute-optimal hyperparameter scaling: optimal batch size and learning rate grow with model size, and a token-to-parameter ratio of $\approx$15 is optimal in our regime, with a slight upward trend as compute increases. These results demonstrate that SR performance is largely predictable from compute and offer important insights for training the next generation of SR models.
• Abstract（参考訳）: 記号回帰(SR)は、観測データを説明する基礎となる数学的表現を発見することを目的としている。 これは科学的な洞察を得ることと、表データの本質的に解釈可能で一般化可能なモデルを作成することの両方を約束する。 本研究は,SRの基本に焦点をあてる。 ディープラーニングに基づくSRは、最近、遺伝的プログラミングのアプローチと競合するようになったが、スケールの役割はほとんど解明されていない。 言語モデリングにおける法則のスケーリングに触発されて、スケーラブルなエンドツーエンドトランスフォーマーパイプラインと、注意深く生成されたトレーニングデータを用いて、SRにおけるスケーリングに関する最初の体系的な研究を示す。 5つの異なるモデルサイズにまたがって計算の3桁にまたがって、検証損失と解率の両方が計算における明らかなパワールールの傾向に従うことが判明した。 最適バッチサイズと学習速度はモデルサイズとともに増加し、トークンとパラメータの比率は$\approx$15が最適である。 これらの結果は、SR性能が計算から予測可能であることを示し、次世代のSRモデルをトレーニングするための重要な洞察を提供する。

関連論文リスト

• Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
  トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。 我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
  論文  参考訳（メタデータ） (2025-03-03T08:57:49Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。