論文の概要: Can Test-time Computation Mitigate Memorization Bias in Neural Symbolic Regression?

• arxiv url: http://arxiv.org/abs/2505.22081v1
• Date: Wed, 28 May 2025 08:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.479805
• Title: Can Test-time Computation Mitigate Memorization Bias in Neural Symbolic Regression?
• Title（参考訳）: テスト時間計算はニューラルシンボリック回帰における記憶バイアスを軽減するか?
• Authors: Shun Sato, Issei Sato,
• Abstract要約: 記号回帰は、与えられた数値データに適合する数学的方程式を発見することを目的としている。 大規模合成データセットで事前訓練されたトランスフォーマーを含む最近の手法が注目されている。 これらの手法は、短い推論時間などの利点を提供するが、特に入力変数の数が大きい場合、低い性能に悩まされる。
• 参考スコア（独自算出の注目度）: 32.15408441849578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression aims to discover mathematical equations that fit given numerical data. It has been applied in various fields of scientific research, such as producing human-readable expressions that explain physical phenomena. Recently, Neural symbolic regression (NSR) methods that involve Transformers pre-trained on large-scale synthetic datasets have gained attention. While these methods offer advantages such as short inference time, they suffer from low performance, particularly when the number of input variables is large. In this study, we hypothesized that this limitation stems from the memorization bias of Transformers in symbolic regression. We conducted a quantitative evaluation of this bias in Transformers using a synthetic dataset and found that Transformers rarely generate expressions not present in the training data. Additional theoretical analysis reveals that this bias arises from the Transformer's inability to construct expressions compositionally while verifying their numerical validity. We finally examined if tailoring test-time strategies can lead to reduced memorization bias and better performance. We empirically demonstrate that providing additional information to the model at test time can significantly mitigate memorization bias. On the other hand, we also find that reducing memorization bias does not necessarily correlate with improved performance. These findings contribute to a deeper understanding of the limitations of NSR approaches and offer a foundation for designing more robust, generalizable symbolic regression methods. Code is available at https://github.com/Shun-0922/Mem-Bias-NSR .
• Abstract（参考訳）: 記号回帰は、与えられた数値データに適合する数学的方程式を発見することを目的としている。 科学的研究の様々な分野に適用されており、物理的現象を説明する人間可読表現の生成などを行っている。 近年,大規模な合成データセットで事前学習したトランスフォーマーを含むニューラルシンボリックレグレッション(NSR)手法が注目されている。 これらの手法は、短い推論時間などの利点を提供するが、特に入力変数の数が大きい場合、低い性能に悩まされる。 本研究では, この制限は, シンボリックレグレッションにおけるトランスフォーマーの記憶バイアスに起因すると仮定した。 合成データセットを用いてトランスフォーマーにおけるこのバイアスの定量的評価を行い、トレーニングデータに存在しない表現をトランスフォーマーが生成することは滅多にないことを示した。 さらなる理論的分析により、このバイアスはトランスフォーマーが数値的妥当性を検証しながら、合成的に表現を構成することができないことから生じることが明らかとなった。 テストタイム戦略の調整が,記憶バイアスの低減とパフォーマンスの向上につながるかどうか,最終的に検討した。 テスト時にモデルに付加的な情報を提供することで,記憶バイアスを大幅に軽減できることを実証的に実証した。 一方,暗記バイアスの低減は必ずしも性能改善と相関しないことがわかった。 これらの知見は、NSRアプローチの限界をより深く理解し、より堅牢で一般化可能な記号回帰法を設計するための基盤を提供する。 コードはhttps://github.com/Shun-0922/Mem-Bias-NSRで入手できる。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• A Transformer Model for Symbolic Regression towards Scientific Discovery [11.827358526480323]
  記号回帰(SR)は、数値データセットを最もよく記述する数学的表現を探索する。 本稿では, シンボリック回帰に着目した新しいトランスフォーマーモデルを提案する。 我々は、正規化ツリーベース編集距離を用いて、最先端の結果を出力するSRSDデータセットにベストモデルを適用した。
  論文  参考訳（メタデータ） (2023-12-07T06:27:48Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Controllable Neural Symbolic Regression [10.128755371375572]
  記号回帰では、数学的記号の最小使用量で実験データに適合する解析式を見つけることが目的である。 仮説付きニューラルシンボリック回帰(NSRwH)と呼ばれる新しいニューラルシンボリック回帰法を提案する。 実験により,提案した条件付き深層学習モデルは,精度で非条件付き学習モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-20T14:20:48Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
  シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。 本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-27T03:26:35Z)
• Neural Symbolic Regression that Scales [58.45115548924735]
  本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。 我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2021-06-11T14:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。