論文の概要: Towards Scaling Laws for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2510.26064v1
• Date: Thu, 30 Oct 2025 01:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.624914
• Title: Towards Scaling Laws for Symbolic Regression
• Title（参考訳）: シンボリック回帰のスケーリング法則に向けて
• Authors: David Otte, Jörg K. H. Franke, Frank Hutter,
• Abstract要約: 記号回帰は、観測データを説明する基礎となる数学的表現を発見することを目的としている。 ディープラーニングベースのSRは、最近、遺伝的プログラミングアプローチと競合している。 本稿では、拡張性のあるエンドツーエンドトランスフォーマーパイプラインを用いて、SRにおけるスケーリングに関する最初の体系的な研究を示す。
• 参考スコア（独自算出の注目度）: 45.609070591068836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) aims to discover the underlying mathematical expressions that explain observed data. This holds promise for both gaining scientific insight and for producing inherently interpretable and generalizable models for tabular data. In this work we focus on the basics of SR. Deep learning-based SR has recently become competitive with genetic programming approaches, but the role of scale has remained largely unexplored. Inspired by scaling laws in language modeling, we present the first systematic investigation of scaling in SR, using a scalable end-to-end transformer pipeline and carefully generated training data. Across five different model sizes and spanning three orders of magnitude in compute, we find that both validation loss and solved rate follow clear power-law trends with compute. We further identify compute-optimal hyperparameter scaling: optimal batch size and learning rate grow with model size, and a token-to-parameter ratio of $\approx$15 is optimal in our regime, with a slight upward trend as compute increases. These results demonstrate that SR performance is largely predictable from compute and offer important insights for training the next generation of SR models.
• Abstract（参考訳）: 記号回帰(SR)は、観測データを説明する基礎となる数学的表現を発見することを目的としている。 これは科学的な洞察を得ることと、表データの本質的に解釈可能で一般化可能なモデルを作成することの両方を約束する。 本研究は,SRの基本に焦点をあてる。 ディープラーニングに基づくSRは、最近、遺伝的プログラミングのアプローチと競合するようになったが、スケールの役割はほとんど解明されていない。 言語モデリングにおける法則のスケーリングに触発されて、スケーラブルなエンドツーエンドトランスフォーマーパイプラインと、注意深く生成されたトレーニングデータを用いて、SRにおけるスケーリングに関する最初の体系的な研究を示す。 5つの異なるモデルサイズにまたがって計算の3桁にまたがって、検証損失と解率の両方が計算における明らかなパワールールの傾向に従うことが判明した。 最適バッチサイズと学習速度はモデルサイズとともに増加し、トークンとパラメータの比率は$\approx$15が最適である。 これらの結果は、SR性能が計算から予測可能であることを示し、次世代のSRモデルをトレーニングするための重要な洞察を提供する。

関連論文リスト

• Scaling Laws for Reranking in Information Retrieval [24.00475965133032]
  本稿では,リランカーのスケーリング法則に関する最初の体系的研究について述べる。 クロスエンコーダリランカーを用いた詳細なケーススタディを用いて、性能が予測可能なパワー則に従うことを示した。 本研究は,産業グレード検索システム構築のためのスケーリングの原則を確立し,実用的な洞察を提供するものである。
  論文  参考訳（メタデータ） (2026-03-05T05:03:07Z)
• Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
  スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。 我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。 データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
  論文  参考訳（メタデータ） (2025-09-23T16:05:16Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
  トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。 我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
  論文  参考訳（メタデータ） (2025-03-03T08:57:49Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。