論文の概要: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified
Pre-training
- arxiv url: http://arxiv.org/abs/2310.02227v2
- Date: Thu, 19 Oct 2023 13:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 18:57:36.712709
- Title: SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified
Pre-training
- Title(参考訳): SNIP:統一事前学習による数学的記号と数値領域のブリッジ
- Authors: Kazem Meidani, Parshin Shojaee, Chandan K. Reddy, Amir Barati Farimani
- Abstract要約: シンボリック・数値統合型事前学習であるSNIPを導入し,シンボルドメインと数値ドメインの対比学習を併用する。
我々は,記号-数学的特性予測や数値-記号方程式の発見など,多種多様なタスクに対するSNIPの評価を行った。
- 参考スコア(独自算出の注目度): 18.90700817248397
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In an era where symbolic mathematical equations are indispensable for
modeling complex natural phenomena, scientific inquiry often involves
collecting observations and translating them into mathematical expressions.
Recently, deep learning has emerged as a powerful tool for extracting insights
from data. However, existing models typically specialize in either numeric or
symbolic domains, and are usually trained in a supervised manner tailored to
specific tasks. This approach neglects the substantial benefits that could
arise from a task-agnostic unified understanding between symbolic equations and
their numeric counterparts. To bridge the gap, we introduce SNIP, a
Symbolic-Numeric Integrated Pre-training, which employs joint contrastive
learning between symbolic and numeric domains, enhancing their mutual
similarities in the pre-trained embeddings. By performing latent space
analysis, we observe that SNIP provides cross-domain insights into the
representations, revealing that symbolic supervision enhances the embeddings of
numeric data and vice versa. We evaluate SNIP across diverse tasks, including
symbolic-to-numeric mathematical property prediction and numeric-to-symbolic
equation discovery, commonly known as symbolic regression. Results show that
SNIP effectively transfers to various tasks, consistently outperforming fully
supervised baselines and competing strongly with established task-specific
methods, especially in few-shot learning scenarios where available data is
limited.
- Abstract(参考訳): 複雑な自然現象のモデル化に記号的数理方程式が不可欠である時代には、科学的な探究には観察の収集と数学的表現への翻訳がしばしば必要となる。
近年,データから洞察を抽出する強力なツールとしてディープラーニングが登場している。
しかしながら、既存のモデルは典型的には数値的あるいは記号的ドメインを専門とし、通常は特定のタスクに合わせた教師付き方法で訓練される。
このアプローチは、記号方程式とその数値方程式の間のタスクに依存しない統一的な理解から生じる実質的な利益を無視している。
このギャップを埋めるために,シンボルドメインと数値ドメインの対比学習を併用し,事前学習における相互類似性を高めるシンボリック・数値統合事前学習であるSNIPを導入する。
潜時空間解析を行うことにより,SNIPが表現のクロスドメインな洞察を提供し,記号的指導によって数値データの埋め込みが促進されることを示す。
我々は,記号型から数値型への数学的性質予測や,記号型回帰と呼ばれる数値型から記号型への方程式発見など,SNIPを多種多様なタスクで評価する。
その結果、SNIPは様々なタスクに効果的に移行し、完全に教師されたベースラインを一貫して上回り、既存のタスク固有の手法と強く競合することがわかった。
関連論文リスト
- The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - MTS2Graph: Interpretable Multivariate Time Series Classification with
Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。
UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文 参考訳(メタデータ) (2023-06-06T16:24:27Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳(メタデータ) (2023-03-06T18:13:14Z) - Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。
我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
論文 参考訳(メタデータ) (2022-12-30T17:50:54Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - DORA: Exploring Outlier Representations in Deep Neural Networks [0.0]
我々は,Deep Neural Networks (DNN) の表現空間を解析するための,最初のデータに依存しないフレームワークであるDORAを提案する。
我々のフレームワークの中心は、表現間の類似性を評価する、提案された極活動距離測定(EA)である。
EAのメトリクスを定量的に検証し、制御されたシナリオと実世界のアプリケーションの両方でその効果を実証する。
論文 参考訳(メタデータ) (2022-06-09T14:25:14Z) - Interpretable Feature Engineering for Time Series Predictors using
Attention Networks [6.617546606897785]
マルチヘッドアテンションネットワークを用いて解釈可能な機能を開発し,優れた予測性能を実現する。
カスタマイズされたアテンション層は、乗法的相互作用を明示的に使用し、時間的ダイナミクスを擬似的にキャプチャする特徴エンジニアリングヘッドを構築する。
論文 参考訳(メタデータ) (2022-05-23T20:13:08Z) - High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。
実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。
従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
論文 参考訳(メタデータ) (2021-05-09T14:22:43Z) - Continuous-in-Depth Neural Networks [107.47887213490134]
まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。
次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。
ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
論文 参考訳(メタデータ) (2020-08-05T22:54:09Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳(メタデータ) (2020-04-25T17:14:58Z) - iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。
本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-03-17T10:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。