論文の概要: Analyzing Generalization in Pre-Trained Symbolic Regression

• arxiv url: http://arxiv.org/abs/2509.19849v1
• Date: Wed, 24 Sep 2025 07:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.724416
• Title: Analyzing Generalization in Pre-Trained Symbolic Regression
• Title（参考訳）: 事前学習したシンボリック回帰における一般化の分析
• Authors: Henrik Voigt, Paul Kahlmeyer, Kai Lawonn, Michael Habeck, Joachim Giesen,
• Abstract要約: 記号回帰アルゴリズムは、与えられたデータを説明する公式の数学的式空間を探索する。 トランスフォーマーベースのモデルは、高価な検索を大規模な事前学習フェーズに移行する、有望で有望なアプローチとして現れている。
• 参考スコア（独自算出の注目度）: 17.789199791229624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression algorithms search a space of mathematical expressions for formulas that explain given data. Transformer-based models have emerged as a promising, scalable approach shifting the expensive combinatorial search to a large-scale pre-training phase. However, the success of these models is critically dependent on their pre-training data. Their ability to generalize to problems outside of this pre-training distribution remains largely unexplored. In this work, we conduct a systematic empirical study to evaluate the generalization capabilities of pre-trained, transformer-based symbolic regression. We rigorously test performance both within the pre-training distribution and on a series of out-of-distribution challenges for several state of the art approaches. Our findings reveal a significant dichotomy: while pre-trained models perform well in-distribution, the performance consistently degrades in out-of-distribution scenarios. We conclude that this generalization gap is a critical barrier for practitioners, as it severely limits the practical use of pre-trained approaches for real-world applications.
• Abstract（参考訳）: 記号回帰アルゴリズムは、与えられたデータを説明する公式の数学的式空間を探索する。 トランスフォーマーベースのモデルは、高価な組合せ探索を大規模な事前学習フェーズに移行する、有望でスケーラブルなアプローチとして登場した。 しかし、これらのモデルの成功は、トレーニング前のデータに大きく依存している。 事前学習された分布以外の問題に一般化する能力は、まだ明らかにされていない。 本研究では,事前学習された変圧器に基づく記号回帰の一般化能力を評価するために,系統的な実証的研究を行う。 我々は、事前学習分布と、いくつかの最先端アプローチに対する一連のアウト・オブ・ディストリビューション課題の両方で、パフォーマンスを厳格にテストする。 事前学習したモデルでは分配が良好に行なわれるが, 分配外のシナリオでは連続的に性能が低下する。 我々は,この一般化ギャップが実践者にとって重要な障壁であると結論付けている。

関連論文リスト

• Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
  コンフォーマル予測(CP)は近年,膨大な関心を集めている。 本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。 半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
  論文  参考訳（メタデータ） (2025-08-21T12:14:44Z)
• A Classical View on Benign Overfitting: The Role of Sample Size [14.36840959836957]
  モデルは任意に小さなトレーニングとテストエラーの両方を同時に達成する。 この振舞いはニューラルネットワークの特徴であり、しばしば低い(しかしゼロではない)トレーニングエラーを達成するが、それでもよく一般化される。
  論文  参考訳（メタデータ） (2025-05-16T18:37:51Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Histogram Approaches for Imbalanced Data Streams Regression [1.8385275253826225]
  不均衡なドメインは、特に回帰の文脈において、現実世界の予測分析において重要な課題となる。 本研究では,この制約を克服するためのヒストグラムに基づくサンプリング手法を提案する。 合成および実世界のベンチマークに関する総合的な実験により、HistUSとHistOSは稀な予測精度を大幅に改善した。
  論文  参考訳（メタデータ） (2025-01-29T11:03:02Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• It's All in the Mix: Wasserstein Classification and Regression with Mixed Features [5.106912532044251]
  我々は、離散的特徴の存在を忠実に説明できる分布的に堅牢な予測モデルを開発し、分析する。 我々のモデルは、離散的特徴の存在に非依存な既存手法を著しく上回り得ることを実証する。
  論文  参考訳（メタデータ） (2023-12-19T15:15:52Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。