論文の概要: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
- arxiv url: http://arxiv.org/abs/2310.02227v3
- Date: Fri, 15 Mar 2024 06:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 03:21:56.708845
- Title: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
- Title（参考訳）: SNIP:統一事前学習による数理記号と数理領域のブリッジ
- Authors: Kazem Meidani, Parshin Shojaee, Chandan K. Reddy, Amir Barati Farimani,
- Abstract要約: シンボリック・数値統合事前学習モデルSNIPを紹介する。
潜在空間解析を行うことにより、SNIPが表現のクロスドメインな洞察を提供するのを観察する。
その結果、SNIPは様々なタスクに効果的に移行し、完全に教師付きベースラインを一貫して上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 17.623227360825258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic multi-modal understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training model, which employs contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in the low data regime scenarios where available data is limited. Code and model are available at: https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining
- Abstract（参考訳）: 記号数学の方程式が複雑な自然現象をモデル化するのに欠かせない時代において、科学的な調査はしばしば観察を集め、それらを数学的表現に翻訳する。
近年,データから洞察を抽出する強力なツールとしてディープラーニングが登場している。
しかしながら、既存のモデルは典型的には数値領域または記号領域に特化しており、通常特定のタスクに合わせて教師付き方法で訓練される。
このアプローチは、記号方程式とその数値方程式の間のタスクに依存しないマルチモーダル理解から生じる、実質的な利点を無視している。
このギャップを埋めるために,シンボリック・数値統合事前学習モデルであるSNIPを導入する。
潜時空間解析を行うことにより,SNIPが表現のクロスドメインな洞察を提供し,記号的指導によって数値データの埋め込みが促進され,その逆も引き起こされることがわかった。
我々は,記号型から数値型への数学的性質予測や,記号型回帰と呼ばれる数値型から記号型への方程式発見など,SNIPを多種多様なタスクで評価する。
その結果、SNIPは様々なタスクに効果的に移行し、完全に教師されたベースラインを一貫して上回り、特に利用可能なデータが制限された低データレギュレーションシナリオにおいて、確立されたタスク固有のメソッドと強く競合することがわかった。
code and model are available at https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining
関連論文リスト
- Operator Feature Neural Network for Symbolic Regression [11.341249704023687]
本稿では,演算子表現を用いた演算子特徴ニューラルネットワーク(OF-Net)を提案する。
演算子の特徴を数値損失に置き換えることで,対象表現の演算子の組み合わせを予測することができる。
提案手法を公開データセット上で評価した結果,より優れた回復率と高いR2$スコアが得られた。
論文 参考訳（メタデータ） (2024-08-14T09:47:13Z) - Discovering symbolic expressions with parallelized tree search [59.92040079807524]
記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。
既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。
本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
論文 参考訳（メタデータ） (2024-07-05T10:41:15Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - MTS2Graph: Interpretable Multivariate Time Series Classification with
Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。
UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文 参考訳（メタデータ） (2023-06-06T16:24:27Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳（メタデータ） (2023-03-06T18:13:14Z) - Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。
我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
論文 参考訳（メタデータ） (2022-12-30T17:50:54Z) - Interpretable Feature Engineering for Time Series Predictors using
Attention Networks [6.617546606897785]
マルチヘッドアテンションネットワークを用いて解釈可能な機能を開発し,優れた予測性能を実現する。
カスタマイズされたアテンション層は、乗法的相互作用を明示的に使用し、時間的ダイナミクスを擬似的にキャプチャする特徴エンジニアリングヘッドを構築する。
論文 参考訳（メタデータ） (2022-05-23T20:13:08Z) - Continuous-in-Depth Neural Networks [107.47887213490134]
まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。
次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。
ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
論文 参考訳（メタデータ） (2020-08-05T22:54:09Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳（メタデータ） (2020-04-25T17:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。