論文の概要: Enhancing Transformer Representations of Symbolic ODE Expressions

• arxiv url: http://arxiv.org/abs/2609.24746v1
• Date: Mon, 21 Sep 2026 15:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.355388
• Title: Enhancing Transformer Representations of Symbolic ODE Expressions
• Title（参考訳）: シンボリックODE表現のトランスフォーマー表現の強化
• Abstract要約: 木の位置埋め込みは早期の学習に役立ち,パフォーマンスの向上を継続することを示す。 学習された構造表現に基づいて、数学における可換性を支持するためにコントラスト学習を適用する。
• 参考スコア（独自算出の注目度）: 2.1920579994942164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing approaches to solving differential equations, such as symbolic regression, physics informed neural networks, and neural operators, typically focus on numerical approximations or blind symbolic search via fitting to numerical data. Less attention has been paid to learning structured representations of mathematical expressions that preserve commutative properties and could support mathematical reasoning in symbolic forms. Transformer models have shown strong capabilities in solving symbolic differential equations. However, standard positional embeddings in transformers are designed for sequence data. Symbolic differential equations are naturally represented by expression trees, so these positional embeddings may not efficiently capture their hierarchical structures. We investigate existing tree positional embeddings in symbolic ordinary differential equation (ODE) tasks. We systematically study their effectiveness under different settings. Our results show that tree positional embeddings aid learning in early epochs and continue to improve performance throughout, ultimately yielding consistent advantages across various data sizes and tasks. Based on learned structural representations, we apply contrastive learning to support the commutative property in mathematics. Ablation studies provide insight into how these methods interact in modelling symbolic mathematical structures.
• Abstract（参考訳）: 記号回帰(英語版)、物理情報ニューラルネットワーク(英語版)、ニューラルネットワーク(英語版)といった既存の微分方程式の解法は、典型的には数値データへの適合による数値近似やブラインド記号探索(英語版)に焦点を当てている。 可換性を保持し、記号形式における数学的推論を支援する数学的表現の構造的表現の学習には、あまり注意が払われていない。 変圧器モデルはシンボリック微分方程式の解法において強い能力を示している。 しかし、トランスにおける標準的な位置埋め込みは、シーケンスデータのために設計されている。 シンボリック微分方程式は自然に表現木で表されるので、これらの位置埋め込みはそれらの階層構造を効率的に捉えることができない。 シンボル常微分方程式(ODE)タスクにおける既存の木の位置埋め込みについて検討する。 それらの効果を異なる設定で体系的に研究する。 以上の結果から,木の位置埋め込みは早期の学習に役立ち,パフォーマンスの向上を継続し,最終的にはさまざまなデータサイズやタスクに対して一貫した優位性をもたらすことが示唆された。 学習された構造表現に基づいて、数学における可換性を支持するためにコントラスト学習を適用する。 アブレーション研究は、これらの手法が記号的な数学的構造をモデル化する際の相互作用について洞察を与える。

関連論文リスト

• Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning [0.19999259391104388]
  シンボリック・コルモゴロフ・アルノルドネットワーク(シンボリック・カン)を紹介する。 シンボリック・カンは訓練可能な深層ネットワークに直接離散的なシンボル構造を埋め込む。 そこで,Symbolic-KANはデータ駆動回帰および逆力学系において,正しい原始項と規則構造を確実に回復することを示す。
  論文  参考訳（メタデータ） (2026-03-25T02:31:13Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Parsing the Language of Expression: Enhancing Symbolic Regression with Domain-Aware Symbolic Priors [4.904996012808334]
  本稿では,多様な科学領域のシンボル先行を統合した高度な記号回帰手法を提案する。 本稿では,これらのシンボルに先行する新しい木構造リカレントニューラルネットワーク(RNN)を提案する。 実験結果から,シンボル先行値の活用はシンボル回帰の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-12T17:57:48Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers [4.562331048595688]
  抽象モジュールと呼ばれる新しいモジュールを通じて明示的なリレーショナル推論を可能にするトランスフォーマーの拡張が提案されている。 Abstractorの中核には、リレーショナル・クロスアテンション(relational cross-attention)と呼ばれる注意の亜種がある。 このアプローチは、関係情報をオブジェクトレベルの特徴から切り離す関係学習のためのアーキテクチャ的帰納的バイアスによって動機付けられます。
  論文  参考訳（メタデータ） (2023-04-01T01:49:08Z)
• Symbolically Solving Partial Differential Equations using Deep Learning [5.1964883240501605]
  本稿では、微分方程式の正確な解や近似解を生成するニューラルネットワーク手法について述べる。 他のニューラルネットワークとは異なり、我々のシステムは直接解釈できるシンボリック表現を返す。
  論文  参考訳（メタデータ） (2020-11-12T22:16:03Z)
• A Neuro-Symbolic Method for Solving Differential and Functional Equations [6.899578710832262]
  微分方程式を解くために記号式を生成する方法を提案する。 既存の手法とは異なり、このシステムは記号数学よりも言語モデルを学習する必要はない。 我々は,他の数学的課題に対するシンボリックな解を見つけるために,システムがいかに懸命に一般化されるかを示す。
  論文  参考訳（メタデータ） (2020-11-04T17:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。