論文の概要: Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
- arxiv url: http://arxiv.org/abs/2510.07570v1
- Date: Wed, 08 Oct 2025 21:31:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.747263
- Title: Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
- Title（参考訳）: シンボリック拡散:D3PM離散トケ拡散を用いた深層学習に基づくシンボリック回帰
- Authors: Ryan T. Tymkow, Benjamin D. Schnapp, Mojtaba Valipour, Ali Ghodshi,
- Abstract要約: 本稿では,D3PMに基づく離散状態空間拡散モデルを提案する。
我々は, 自己回帰を用いた拡散型生成手法により, 自己回帰的生成よりも性能が向上することが実証された。
- 参考スコア（独自算出の注目度）: 0.2520739985753782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symbolic regression refers to the task of finding a closed-form mathematical expression to fit a set of data points. Genetic programming based techniques are the most common algorithms used to tackle this problem, but recently, neural-network based approaches have gained popularity. Most of the leading neural-network based models used for symbolic regression utilize transformer-based autoregressive models to generate an equation conditioned on encoded input points. However, autoregressive generation is limited to generating tokens left-to-right, and future generated tokens are conditioned only on previously generated tokens. Motivated by the desire to generate all tokens simultaneously to produce improved closed-form equations, we propose Symbolic Diffusion, a D3PM based discrete state-space diffusion model which simultaneously generates all tokens of the equation at once using discrete token diffusion. Using the bivariate dataset developed for SymbolicGPT, we compared our diffusion-based generation approach to an autoregressive model based on SymbolicGPT, using equivalent encoder and transformer architectures. We demonstrate that our novel approach of using diffusion-based generation for symbolic regression can offer comparable and, by some metrics, improved performance over autoregressive generation in models using similar underlying architectures, opening new research opportunities in neural-network based symbolic regression.
- Abstract（参考訳）: シンボリック回帰(シンボリックレグレッション、英: Symbolic regression)とは、データポイントの集合に適合する閉形式の数学的表現を見つけるタスクを指す。
遺伝的プログラミングに基づく手法はこの問題に対処するために最も一般的なアルゴリズムであるが、近年はニューラルネットワークに基づくアプローチが人気を集めている。
シンボリック回帰に使用される主要なニューラルネットワークベースのモデルのほとんどは、トランスフォーマーベースの自己回帰モデルを使用して、符号化された入力点に条件付き方程式を生成する。
しかし、自己回帰生成は左から右へのトークン生成に限られており、将来のトークンは以前に生成されたトークンにのみ条件付けされる。
そこで我々は,D3PMに基づく離散状態空間拡散モデルであるSymbolic Diffusionを提案する。
The bivariate dataset developed for SymbolicGPT, we compared our diffusion-based generation approach to a autoregressive model based on SymbolicGPT, using equivalent encoder and transformer architectures。
ニューラルネットワークに基づく記号回帰における新たな研究の機会を開き, 類似したアーキテクチャを用いたモデルにおける自己回帰生成よりも優れた自己回帰生成が実現できることを実証する。
関連論文リスト
- Discovering Mathematical Equations with Diffusion Language Model [6.384075523245284]
本稿では,連続状態拡散言語モデルに基づくシンボル回帰のための事前学習フレームワークであるDiffuSRを紹介する。
DrouSRは、離散的な数学的シンボルを連続的な潜在空間にマッピングするために、拡散過程内にトレーニング可能な埋め込み層を用いる。
また,拡散型方程式生成器の精度を高めるための効果的な推論戦略を設計する。
論文 参考訳（メタデータ） (2025-09-16T14:53:44Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - Evolving Form and Function: Dual-Objective Optimization in Neural Symbolic Regression Networks [0.0]
本研究では、勾配降下と進化計算を組み合わせて、データから発生する方程式の記号的および行動的誤りを最小限に抑えるニューラルネットワークを生成する手法を提案する。
これらの進化したネットワークは、最先端勾配に基づくニューラルシンボル回帰法によって訓練されたネットワークによって生成されたものよりも、より象徴的で行動的に正確な方程式を生成することが示されている。
論文 参考訳（メタデータ） (2025-02-24T18:20:41Z) - Autoregressive Image Generation without Vector Quantization [31.798754606008067]
従来の知恵では、画像生成のための自己回帰モデルは一般にベクトル量子化トークンを伴っている。
本研究では,拡散法を用いて確率分布の確率分布をモデル化し,連続値空間に自己回帰モデルを適用することを提案する。
論文 参考訳（メタデータ） (2024-06-17T17:59:58Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Regression Transformer: Concurrent Conditional Generation and Regression
by Blending Numerical and Textual Tokens [3.421506449201873]
Regression Transformer (RT)は、数値トークンのシーケンスとして連続プロパティをキャストし、それらを従来のトークンと共同でエンコードする。
我々はXLNetの目的に対するいくつかの拡張を提案し、プロパティ予測と条件テキスト生成を同時に最適化する交互トレーニングスキームを採用する。
このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。
論文 参考訳（メタデータ） (2022-02-01T08:57:31Z) - Neural Symbolic Regression that Scales [58.45115548924735]
本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。
我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
論文 参考訳（メタデータ） (2021-06-11T14:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。