論文の概要: Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
- arxiv url: http://arxiv.org/abs/2511.09416v1
- Date: Thu, 13 Nov 2025 01:53:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.560599
- Title: Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
- Title（参考訳）: D次元シンボリック回帰問題に対するトランスフォーマ意味遺伝プログラミング
- Authors: Philipp Anthes, Dominik Sobania, Franz Rothlauf,
- Abstract要約: Transformer Semantic Genetic Programming (TSGP) は、事前学習されたトランスフォーマーモデルを変分演算子として使用する意味探索手法である。
数百万のプログラムで訓練された1つのトランスモデルは、様々な次元のシンボリック回帰問題を一般化することができる。
24個の実世界のデータセットと合成データセットから評価すると、TSGPは標準GP、SLIM_GSGP、Deep Symbolic Regression、Denoising Autoencoder GPを著しく上回っている。
- 参考スコア（独自算出の注目度）: 1.7205106391379026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer Semantic Genetic Programming (TSGP) is a semantic search approach that uses a pre-trained transformer model as a variation operator to generate offspring programs with controlled semantic similarity to a given parent. Unlike other semantic GP approaches that rely on fixed syntactic transformations, TSGP aims to learn diverse structural variations that lead to solutions with similar semantics. We find that a single transformer model trained on millions of programs is able to generalize across symbolic regression problems of varying dimension. Evaluated on 24 real-world and synthetic datasets, TSGP significantly outperforms standard GP, SLIM_GSGP, Deep Symbolic Regression, and Denoising Autoencoder GP, achieving an average rank of 1.58 across all benchmarks. Moreover, TSGP produces more compact solutions than SLIM_GSGP, despite its higher accuracy. In addition, the target semantic distance $\mathrm{SD}_t$ is able to control the step size in the semantic space: small values of $\mathrm{SD}_t$ enable consistent improvement in fitness but often lead to larger programs, while larger values promote faster convergence and compactness. Thus, $\mathrm{SD}_t$ provides an effective mechanism for balancing exploration and exploitation.
- Abstract（参考訳）: Transformer Semantic Genetic Programming (TSGP) は、事前学習されたトランスフォーマーモデルを変動演算子として使用して、与えられた親と制御されたセマンティックな類似性を持つ子孫プログラムを生成するセマンティック検索手法である。
固定構文変換に依存する他のセマンティックGPアプローチとは異なり、TSGPは類似したセマンティクスを持つ解につながる様々な構造的バリエーションを学習することを目的としている。
数百万のプログラムで訓練された1つのトランスモデルは、様々な次元のシンボリック回帰問題を一般化することができる。
24の実世界のデータセットと合成データセットで評価され、TSGPは標準GP、SLIM_GSGP、Deep Symbolic Regression、Denoising Autoencoder GPを著しく上回り、全てのベンチマークで平均1.58のランクに達した。
さらに、TSGPは精度が高いにもかかわらず、SLIM_GSGPよりもコンパクトな解を生成する。
さらに、ターゲットのセマンティック距離 $\mathrm{SD}_t$ はセマンティック空間のステップサイズを制御することができる: $\mathrm{SD}_t$ の小さな値は、フィットネスの一貫性のある改善を可能にするが、より大きな値はより高速な収束とコンパクト性を促進する。
したがって、$\mathrm{SD}_t$は探索と搾取のバランスをとる効果的なメカニズムを提供する。
関連論文リスト
- Transformer Semantic Genetic Programming for Symbolic Regression [0.8602553195689513]
Transformer Genetic Programming (TSGP) は、生成型トランスフォーマーモデルを探索演算子として使用する、新しく柔軟なセマンティックアプローチである。
このモデルは、合成テスト問題に基づいて訓練され、ソリューション間のセマンティックな類似性を学ぶ。
探索力学の解析により、TSGPが生成した解は、ベンチマーク手法が生成した解と意味的に類似していることが明らかになった。
論文 参考訳（メタデータ） (2025-01-30T16:51:44Z) - Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
論文 参考訳（メタデータ） (2024-02-01T21:44:11Z) - SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。
このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
論文 参考訳（メタデータ） (2024-01-18T12:51:38Z) - Deep Transformed Gaussian Processes [0.0]
変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。
本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。
実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
論文 参考訳（メタデータ） (2023-10-27T16:09:39Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Differentiable Genetic Programming for High-dimensional Symbolic
Regression [13.230237932229052]
シンボリック・レグレッション(SR)は、解釈可能な機械学習(ML)に到達するための効果的な方法と考えられている
遺伝的プログラミング(GP)は、SR問題の解決における支配者となっている。
GP木を高次元SRに向けて構築するための DGP という微分可能な手法を提案する。
論文 参考訳（メタデータ） (2023-04-18T11:39:45Z) - NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。
NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。
我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:54:53Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Statistically Meaningful Approximation: a Case Study on Approximating
Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。
回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文 参考訳（メタデータ） (2021-07-28T04:28:55Z) - SGP-DT: Semantic Genetic Programming Based on Dynamic Targets [6.841231589814175]
本稿では動的ターゲット(SGP-DT)に基づく新しいセマンティックGP手法を提案する。
各ランの進化は、残差に基づいて新しい(動的)ターゲットによって導かれる。
SGP-DTは、エプシロン・レキシケースよりも平均23.19%小さいRMSE値を得る。
論文 参考訳（メタデータ） (2020-01-30T19:33:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。