論文の概要: On the Generalization Bounds of Symbolic Regression with Genetic Programming

• arxiv url: http://arxiv.org/abs/2604.17402v1
• Date: Sun, 19 Apr 2026 12:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.508037
• Title: On the Generalization Bounds of Symbolic Regression with Genetic Programming
• Title（参考訳）: 遺伝的プログラミングによるシンボリック回帰の一般化境界について
• Authors: Masahiro Nomura, Ryoki Hamano, Isao Ono,
• Abstract要約: 遺伝的プログラミングモデルを用いたシンボリック回帰の学習理論解析を行う。 我々は、木の大きさ、深さ、学習可能な定数の制約の下で、GPスタイルのSRに対して有界な一般化を導出する。 我々の研究は、GPベースのSRにおいて一般的に観察される経験的行動について、原則化された説明を提供する。
• 参考スコア（独自算出の注目度）: 7.208302351825167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression (SR) with genetic programming (GP) aims to discover interpretable mathematical expressions directly from data. Despite its strong empirical success, the theoretical understanding of why GP-based SR generalizes beyond the training data remains limited. In this work, we provide a learning-theoretic analysis of SR models represented as expression trees. We derive a generalization bound for GP-style SR under constraints on tree size, depth, and learnable constants. Our result decomposes the generalization gap into two interpretable components: a structure-selection term, reflecting the combinatorial complexity of choosing an expression-tree structure, and a constant-fitting term, capturing the complexity of optimizing numerical constants within a fixed structure. This decomposition provides a theoretical perspective on several widely used practices in GP, including parsimony pressure, depth limits, numerically stable operators, and interval arithmetic. In particular, our analysis shows how structural restrictions reduce hypothesis-class growth while stability mechanisms control the sensitivity of predictions to parameter perturbations. By linking these practical design choices to explicit complexity terms in the generalization bound, our work offers a principled explanation for commonly observed empirical behaviors in GP-based SR and contributes towards a more rigorous understanding of its generalization properties.
• Abstract（参考訳）: 記号回帰(SR)と遺伝的プログラミング(GP)は、データから直接解釈可能な数学的表現を発見することを目的としている。 その経験的成功にもかかわらず、GPベースのSRがトレーニングデータを超えて一般化する理由の理論的理解は依然として限られている。 本研究では,表現木として表現されるSRモデルの学習理論解析を行う。 我々は、木の大きさ、深さ、学習可能な定数の制約の下で、GPスタイルのSRに対して有界な一般化を導出する。 その結果, 一般化ギャップを, 構造選択項, 表現木構造選択の組合せ複雑性, 定値化項, 固定構造内での数値定数の最適化の複雑さを反映した2つの解釈可能な成分に分解した。 この分解は、パーシモニー圧力、深さ制限、数値的に安定な演算子、インターバル演算など、GPで広く使われているいくつかのプラクティスに関する理論的視点を提供する。 特に,安定機構がパラメータ摂動に対する予測の感度を制御している間に,構造的制約によって仮説クラスの成長が抑制されることを示す。 これらの実用的な設計選択を一般化境界における明示的な複雑性項にリンクさせることで、我々の研究はGPベースのSRにおいて一般的に観察される経験的挙動の原理的な説明を提供し、その一般化特性のより厳密な理解に寄与する。

関連論文リスト

• PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory [10.93258787701145]
  ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。 古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
  論文  参考訳（メタデータ） (2026-04-19T03:00:18Z)
• Upper Generalization Bounds for Neural Oscillators [8.075776288865907]
  二階ODEと多層パーセプトロン(MLP)からなるニューラル発振器について検討する。 上部は、連続時間関数空間間の因果作用素と一様連続作用素を近似するために、ほぼ正しい(PAC)。 地震条件下でのブーク-ウェン非線形励振系を考慮した数値実験は,推定誤差の理論的予測パワー則を検証する。
  論文  参考訳（メタデータ） (2026-03-10T14:47:23Z)
• Understanding Generalization from Embedding Dimension and Distributional Convergence [13.491874401333021]
  表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。 人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-30T09:32:04Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Loss-Complexity Landscape and Model Structure Functions [53.92822954974537]
  我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。 情報理論構造と統計力学の数学的類似性を確立する。 構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
  論文  参考訳（メタデータ） (2025-07-17T21:31:45Z)
• Mutual Information Free Topological Generalization Bounds via Stability [46.63069403118614]
  既存の戦略から離れる新しい学習理論フレームワークを導入する。 トラジェクトリ安定アルゴリズムの一般化誤差をTDA項で上界化できることを示す。
  論文  参考訳（メタデータ） (2025-07-09T12:03:25Z)
• Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation [6.296104145657063]
  既存のニューラル演算子(NO)は、全ての物理問題に対して必ずしもうまく機能しない。 非線形作用素の波動速度を解にマッピングする実験的な近似を可能にするNOのサブファミリーを提案する。 本実験は, 深度導入の一般化と関連性において, ある種のサプライズを明らかにするものである。 我々は、NOsのサブファミリーのハイパーネットワークバージョンを、前述のフォワード演算子のサロゲートモデルとして提案することで結論付ける。
  論文  参考訳（メタデータ） (2023-01-27T03:02:12Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。