論文の概要: TSGP-2: On the Non-Linearity of Symbolic Regression Problems and How to Exploit It with Model-based Semantic Genetic Programming
- arxiv url: http://arxiv.org/abs/2611.17455v1
- Date: Thu, 12 Nov 2026 19:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.247722
- Title: TSGP-2: On the Non-Linearity of Symbolic Regression Problems and How to Exploit It with Model-based Semantic Genetic Programming
- Title(参考訳): TSGP-2:シンボリック回帰問題の非線形性とモデルベースセマンティック遺伝的プログラミングによる解法について
- Abstract要約: 本研究では、ファインマンや実世界のベンチマーク問題のようなテスト問題の線形性について検討する。
実世界の問題のほとんどの構造は線形構造によってよく近似できるが、ファインマン問題は非線形構造の様々なレベルを示す。
本稿では,TSGPの関数に従うTSGP-2を提案する。
- 参考スコア(独自算出の注目度): 1.714936492787201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model-based variation operators such as the one used in Transformer Semantic Genetic Programming (TSGP) are affected by possible biases of their training data. TSGP is trained, in particular, on programs generated by Genetic Programming (GP) runs on linear target functions, which leads to a bias toward linear offspring. This bias can hinder search performance on problems that require non-linear solutions. This work has two goals: first, it investigates the linearity of standard test problems such as the Feynman and real-world benchmark problems. While most of the structure of real-world problems can be well approximated by linear structures, the Feynman problems exhibit varying levels of non-linear structure. Thus, a proper variation operator of a search method should be able to create both types of programs, linear as well as non-linear ones. Motivated by this observation, we propose TSGP-2, which follows the functionality of TSGP but uses as training data programs from GP runs on both linear and non-linear target functions. As a result, the training data includes a lower share of programs that behave linearly (the share drops from 83% to 37%). With a higher share of non-linear structures, TSGP-2 outperforms TSGP on problems with non-linear structure, while performing similarly on linear problems. In addition, TSGP-2 is less biased toward linear offspring and is able to propose a higher number of meaningful non-linear offspring earlier during search, which coincides with better solutions. The findings underscore the importance of training data for a learned variation operator and emphasize that the biases of search operators should be aligned with the problems they are applied to.
- Abstract(参考訳): Transformer Semantic Genetic Programming(TSGP)で使用されるようなモデルベースの変動演算子は、トレーニングデータのバイアスの影響を受けやすい。
TSGPは、特に遺伝的プログラミング(GP)によって生成されたプログラムを線形ターゲット関数で実行し、線形子孫へのバイアスをもたらす。
このバイアスは、非線形解を必要とする問題に対する探索性能を妨げる可能性がある。
この研究には2つの目標がある: まず、Feynmanや実世界のベンチマーク問題のような標準的なテスト問題の線形性を調べる。
実世界の問題のほとんどの構造は線形構造によってよく近似できるが、ファインマン問題は非線形構造の様々なレベルを示す。
したがって、探索手法の適切な変分演算子は、線形プログラムと非線形プログラムの両方を生成できなければならない。
本研究の目的は,TSGPの関数に従うTSGP-2を提案することである。
その結果、トレーニングデータは、線形に振る舞うプログラムのシェアを低くする(シェアは83%から37%に減少する)。
非線型構造の比率が高くなると、TSGP-2は非線形構造の問題でTSGPよりも優れ、線形問題でも同じように動作する。
さらに、TSGP-2は線形子孫に偏りが小さく、探索中により多くの有意義な非線形子孫を提案できる。
この結果は,学習変動演算子の学習データの重要性を強調し,探索演算子のバイアスが適用される問題と一致すべきであることを強調した。
関連論文リスト
- Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks [11.687087085203686]
我々は,主課題の一般化において,補助データがいつ,どのように役立つか,という新たな知見を提供する。
線形回帰については、期待される一般化誤差に対する正確な閉形式式を導出する。
幅$q leq K$の共有表現を持つ線形ニューラルネットワークの場合、K$は補助的なタスクの数である。
論文 参考訳(メタデータ) (2026-03-30T17:50:52Z) - Deep Gaussian Processes for Functional Maps [15.327037938888154]
関数・オン・ファンクショナル・レグレッション(Function-on-function regression)とも呼ばれる関数空間間の学習は、関数データ解析において重要な役割を果たす。
既存のアプローチでは、複雑な非線形性を捉えることができず、ノイズやスパース、不規則にサンプリングされたデータの下で信頼性の高い不確実性を欠いている。
これらの問題に対処するために,DGPFM(Deep Gaussian Processes for Functional Maps)を提案する。
本手法は, GPからサンプリングしたカーネル, GP, 非線形アクティベーションの積分変換を利用して, GPに基づく線形および非線形変換の系列を設計する。
論文 参考訳(メタデータ) (2025-10-24T23:05:48Z) - HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。
本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
論文 参考訳(メタデータ) (2024-11-02T06:43:54Z) - Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection [7.373617024876725]
本稿では,関数空間上のGram-Schmidtプロセスを提案する。
合成および実世界のベンチマークデータセットに対する実験結果を提供する。
驚いたことに、線形特徴抽出アルゴリズムは同等であり、しばしば重要な非線形特徴抽出法よりも優れている。
論文 参考訳(メタデータ) (2023-11-15T21:29:57Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。