論文の概要: Improving Neural Symbolic Regression with a Diverse Prior and Post-training Alignment

• arxiv url: http://arxiv.org/abs/2610.17994v1
• Date: Tue, 13 Oct 2026 08:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:48:52.019307
• Title: Improving Neural Symbolic Regression with a Diverse Prior and Post-training Alignment
• Title（参考訳）: 異なる事前および訓練後のアライメントによるニューラルシンボリック回帰の改善
• Abstract要約: 本稿では, RASR (Reinforced Amortized Symbolic Regression) について述べる。 まず、実世界のデータとのギャップを狭める合成プリエントを設計する。 第2に、トレーニングを2段階に分割し、事前学習の監督により、参照表現のトークンレベルの可能性が最大化される。
• 参考スコア（独自算出の注目度）: 45.609070591068836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression is the problem of finding an expression that fits a dataset. Solving it requires searching a combinatorial space of candidate expressions. Neural symbolic regression can amortize that search by training a model once on synthetic data and then predicting expressions for a new dataset. But existing models still underperform genetic programming on real, noisy data. We argue that the deficit lies in the training rather than in the paradigm, and present RASR (Reinforced Amortized Symbolic Regression), a method with two key changes to the training recipe. First, we design a synthetic prior that narrows the gap with real-world data: inputs come from the prior of a tabular foundation model; constants are sampled bottom-up, conditioned on the data; targets carry heteroscedastic and structured noise; and everything is standardized. Second, we split training into two stages. Supervised pre-training maximizes the token-level likelihood of a reference expression. This is followed by reinforcement-learning post-training that aligns the model with its inference-time use by rewarding held-out fit and penalizing expression size. On the black-box track of SRBench 2.0, RASR achieves the best mean test $R^2$ rank of all evaluated methods. Three RASR variants, trained with different size penalties, make up most of the accuracy-complexity Pareto front. On Strogatz, our method recovers more ground-truth expressions than any baseline, and on Feynman it is competitive with the best-performing methods.
• Abstract（参考訳）: シンボリック回帰は、データセットに適合する式を見つける問題である。 それを解くには、候補表現の組合せ空間を探索する必要がある。 ニューラル・シンボリック・レグレッション(Neural symbolic regression)は、合成データに基づいてモデルをトレーニングし、新しいデータセットの式を予測することによって、その検索を記憶することができる。 しかし、既存のモデルは、実際のノイズの多いデータ上での遺伝的プログラミングをいまだに過小評価している。 我々は、この欠陥はパラダイムよりもトレーニングにあると論じ、トレーニングレシピに2つの重要な変更を加えたRASR(Reinforced Amortized Symbolic Regression)を提示する。 まず,実世界のデータとのギャップを狭める合成事前設計を行う:入力は表層基礎モデルの先行から来る;定数はボトムアップにサンプリングされ,データに条件付けされる;ターゲットはヘテロセダスティックで構造化されたノイズを持ち,すべてが標準化される。 第2に、トレーニングを2つのステージに分けました。 教師付き事前訓練は、参照表現のトークンレベルの可能性を最大化する。 これに続いて、モデルと推論時間の使用を一致させる強化学習後トレーニングが実施され、保持されたフィットとペナライズされた表現サイズに報いる。 SRBench 2.0のブラックボックストラックでは、RASRは評価されたすべてのメソッドの最高平均値である$R^2$を達成している。 RASRの3つの派生型は、異なる大きさのペナルティで訓練され、精度と複雑さのほとんどを占める。 Strogatz では,どのベースラインよりも基底構造を復元し,Feynman では最良性能の手法と競合する。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
  回帰を2つの異なる段階に分離する枠組みを提案する。 第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。 第2に,等速回帰による目標スケールの復元を行う。
  論文  参考訳（メタデータ） (2026-02-16T03:50:05Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• MMSR: Symbolic Regression is a Multimodal Task [12.660401635672967]
  記号回帰は、もともと最適化問題として定式化され、GPと強化学習アルゴリズムがそれを解決するために用いられた。 この問題を解決するために、研究者はデータから表現へのマッピングを翻訳問題として扱う。 本稿では,複数の主流データセット上で最も高度な結果が得られるMMSRを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:29:42Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。