論文の概要: Distilling Wikipedia mathematical knowledge into neural network models
- arxiv url: http://arxiv.org/abs/2104.05930v1
- Date: Tue, 13 Apr 2021 04:16:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:42:39.075682
- Title: Distilling Wikipedia mathematical knowledge into neural network models
- Title(参考訳): ウィキペディアの数学的知識をニューラルネットワークモデルに拡張する
- Authors: Joanne T. Kim, Mikel Landajuela Larma, Brenden K. Petersen
- Abstract要約: Wikipediaに埋め込まれた数学的表現を、下流の機械学習タスクで使用されるシンボリックエンコーディングに蒸留するパイプラインを紹介します。
この「コーパス」の式で訓練された$textitmathematical$ $textitlanguage$ $textitmodel$は、シンボリック回帰のタスクに対するニューラルガイド検索のパフォーマンスを改善するために、事前に使用することができます。
- 参考スコア(独自算出の注目度): 4.874780144224057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning applications to symbolic mathematics are becoming
increasingly popular, yet there lacks a centralized source of real-world
symbolic expressions to be used as training data. In contrast, the field of
natural language processing leverages resources like Wikipedia that provide
enormous amounts of real-world textual data. Adopting the philosophy of
"mathematics as language," we bridge this gap by introducing a pipeline for
distilling mathematical expressions embedded in Wikipedia into symbolic
encodings to be used in downstream machine learning tasks. We demonstrate that
a $\textit{mathematical}$ $\textit{language}$ $\textit{model}$ trained on this
"corpus" of expressions can be used as a prior to improve the performance of
neural-guided search for the task of symbolic regression.
- Abstract(参考訳): シンボリック数学への機械学習応用はますます普及しているが、トレーニングデータとして使用される実世界のシンボリック表現の集中的なソースが欠けている。
対照的に、自然言語処理の分野は、膨大な量の現実世界のテキストデータを提供するWikipediaのようなリソースを活用している。
言語としての数学」の哲学を採用することで、ウィキペディアに埋め込まれた数学的表現を、下流機械学習タスクで使用されるシンボリックエンコーディングに変換するパイプラインを導入することで、このギャップを埋める。
この "corpus" でトレーニングされた $\textit{mathematical}$ $$\textit{language}$ $$\textit{model}$ は、シンボリック回帰のタスクに対するニューラルガイド付き検索のパフォーマンスを改善するために、事前の手段として使用できる。
関連論文リスト
- Generative AI for Math: Part I -- MathPile: A Billion-Token-Scale
Pretraining Corpus for Math [52.66190891388847]
約950億のトークンからなる多様で高品質な数学中心コーパスであるtextscMathPileを紹介します。
精巧なデータ収集と処理には、複雑な事前処理が含まれていました。
われわれのtextscMathPileは、言語モデルの数学的推論能力を高めるのに役立つことを願っている。
論文 参考訳(メタデータ) (2023-12-28T16:55:40Z) - Natural Language Embedded Programs for Hybrid Language Symbolic
Reasoning [86.92053166457116]
本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。
我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。
Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
論文 参考訳(メタデータ) (2023-09-19T17:54:21Z) - Neural Machine Translation for Mathematical Formulae [8.608288231153304]
我々は、あいまいな表現言語とあいまいなコンテンツ言語の間の数学的公式のニューラルネットワーク翻訳の問題に取り組む。
畳み込みシーケンス・ツー・シーケンス・ネットワークはそれぞれ95.1%と90.7%の正確な一致を達成した。
論文 参考訳(メタデータ) (2023-05-25T19:15:06Z) - Nondeterministic Stacks in Neural Networks [0.456877715768796]
我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。
これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。
また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
論文 参考訳(メタデータ) (2023-04-25T16:00:40Z) - Tree-Based Representation and Generation of Natural and Mathematical
Language [77.34726150561087]
科学コミュニケーションと教育シナリオにおける数学的言語は重要であるが、比較的研究されている。
数学言語に関する最近の研究は、スタンドアローンな数学的表現や、事前訓練された自然言語モデルにおける数学的推論に焦点をあてている。
テキストと数学を共同で表現・生成するために,既存の言語モデルに対する一連の修正を提案する。
論文 参考訳(メタデータ) (2023-02-15T22:38:34Z) - Self-Supervised Pretraining of Graph Neural Network for the Retrieval of
Related Mathematical Expressions in Scientific Articles [8.942112181408156]
本稿では,機械学習に基づく数学的表現の検索手法を提案する。
埋め込み学習と自己教師型学習を組み合わせた教師なし表現学習タスクを設計する。
arXiv.orgで発行された90,000以上の出版物から、9900万以上の数学的表現を持つ巨大なデータセットを収集します。
論文 参考訳(メタデータ) (2022-08-22T12:11:30Z) - Math-KG: Construction and Applications of Mathematical Knowledge Graph [2.1828601975620257]
本研究では,パイプライン法と自然言語処理技術によって自動的に構築された数学知識グラフMath-KGを提案する。
提案するMath-KGは,故障解析やセマンティックサーチなど,一連のシーンでコントリビューションを行うことができる。
論文 参考訳(メタデータ) (2022-05-08T03:39:07Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳(メタデータ) (2022-03-24T21:24:54Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳(メタデータ) (2022-01-14T14:54:58Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳(メタデータ) (2021-10-15T21:41:16Z) - Pretrained Language Models are Symbolic Mathematics Solvers too! [1.9240537487954366]
変圧器のような大規模言語モデルは普遍的であり、複雑な方程式を解くためのシーケンス・ツー・シーケンス・タスクとして訓練することができる。
本稿では,まず言語翻訳による変圧器モデルの事前学習を行い,次に事前学習した変圧器モデルの微調整を行い,記号数学の下流課題を解決することで,記号処理の効率的な解法を提案する。
論文 参考訳(メタデータ) (2021-10-07T14:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。