論文の概要: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
- arxiv url: http://arxiv.org/abs/2310.02227v3
- Date: Fri, 15 Mar 2024 06:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 03:21:56.708845
- Title: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
- Title(参考訳): SNIP:統一事前学習による数理記号と数理領域のブリッジ
- Authors: Kazem Meidani, Parshin Shojaee, Chandan K. Reddy, Amir Barati Farimani,
- Abstract要約: シンボリック・数値統合事前学習モデルSNIPを紹介する。
潜在空間解析を行うことにより、SNIPが表現のクロスドメインな洞察を提供するのを観察する。
その結果、SNIPは様々なタスクに効果的に移行し、完全に教師付きベースラインを一貫して上回っていることがわかった。
- 参考スコア(独自算出の注目度): 17.623227360825258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic multi-modal understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training model, which employs contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in the low data regime scenarios where available data is limited. Code and model are available at: https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining
- Abstract(参考訳): 記号数学の方程式が複雑な自然現象をモデル化するのに欠かせない時代において、科学的な調査はしばしば観察を集め、それらを数学的表現に翻訳する。
近年,データから洞察を抽出する強力なツールとしてディープラーニングが登場している。
しかしながら、既存のモデルは典型的には数値領域または記号領域に特化しており、通常特定のタスクに合わせて教師付き方法で訓練される。
このアプローチは、記号方程式とその数値方程式の間のタスクに依存しないマルチモーダル理解から生じる、実質的な利点を無視している。
このギャップを埋めるために,シンボリック・数値統合事前学習モデルであるSNIPを導入する。
潜時空間解析を行うことにより,SNIPが表現のクロスドメインな洞察を提供し,記号的指導によって数値データの埋め込みが促進され,その逆も引き起こされることがわかった。
我々は,記号型から数値型への数学的性質予測や,記号型回帰と呼ばれる数値型から記号型への方程式発見など,SNIPを多種多様なタスクで評価する。
その結果、SNIPは様々なタスクに効果的に移行し、完全に教師されたベースラインを一貫して上回り、特に利用可能なデータが制限された低データレギュレーションシナリオにおいて、確立されたタスク固有のメソッドと強く競合することがわかった。
code and model are available at https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining
関連論文リスト
- The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - MTS2Graph: Interpretable Multivariate Time Series Classification with
Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。
UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文 参考訳(メタデータ) (2023-06-06T16:24:27Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳(メタデータ) (2023-03-06T18:13:14Z) - Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。
我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
論文 参考訳(メタデータ) (2022-12-30T17:50:54Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - DORA: Exploring Outlier Representations in Deep Neural Networks [0.0]
我々は,Deep Neural Networks (DNN) の表現空間を解析するための,最初のデータに依存しないフレームワークであるDORAを提案する。
我々のフレームワークの中心は、表現間の類似性を評価する、提案された極活動距離測定(EA)である。
EAのメトリクスを定量的に検証し、制御されたシナリオと実世界のアプリケーションの両方でその効果を実証する。
論文 参考訳(メタデータ) (2022-06-09T14:25:14Z) - Interpretable Feature Engineering for Time Series Predictors using
Attention Networks [6.617546606897785]
マルチヘッドアテンションネットワークを用いて解釈可能な機能を開発し,優れた予測性能を実現する。
カスタマイズされたアテンション層は、乗法的相互作用を明示的に使用し、時間的ダイナミクスを擬似的にキャプチャする特徴エンジニアリングヘッドを構築する。
論文 参考訳(メタデータ) (2022-05-23T20:13:08Z) - High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。
実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。
従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
論文 参考訳(メタデータ) (2021-05-09T14:22:43Z) - Continuous-in-Depth Neural Networks [107.47887213490134]
まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。
次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。
ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
論文 参考訳(メタデータ) (2020-08-05T22:54:09Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳(メタデータ) (2020-04-25T17:14:58Z) - iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。
本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-03-17T10:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。