Fugu-MT 論文翻訳(概要): Learning Mathematical Rules with Large Language Models

論文の概要: Learning Mathematical Rules with Large Language Models

arxiv url: http://arxiv.org/abs/2410.16973v2
Date: Thu, 24 Oct 2024 15:49:03 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-25 12:52:31.893351
Title: Learning Mathematical Rules with Large Language Models
Title（参考訳）: 大規模言語モデルを用いた数学的ルールの学習
Authors: Nelson Vadori, Antoine Gorceix, Bastien Le Chenadec, Ahmad Rammal, Manuela Veloso,
Abstract要約: 本研究では,分散性や方程式の単純化など,特定の数学的規則を学習する大規模言語モデルの能力について検討する。本稿では、これらのルールを一般化する能力と、単語問題を文脈で再利用する能力を実証的に分析する。
参考スコア（独自算出の注目度）: 10.285317818397298
License:
Abstract: In this paper, we study the ability of large language models to learn specific mathematical rules such as distributivity or simplifying equations. We present an empirical analysis of their ability to generalize these rules, as well as to reuse them in the context of word problems. For this purpose, we provide a rigorous methodology to build synthetic data incorporating such rules, and perform fine-tuning of large language models on such data. Our experiments show that our model can learn and generalize these rules to some extent, as well as suitably reuse them in the context of word problems.
Abstract（参考訳）: 本稿では,大規模言語モデルの分散性や簡易化など,特定の数学的規則を学習する能力について考察する。本稿では、これらのルールを一般化する能力と、単語問題を文脈で再利用する能力を実証的に分析する。本研究では,このようなルールを取り入れた合成データを構築するための厳密な手法を提供し,そのようなデータに基づいて大規模言語モデルの微調整を行う。実験の結果,我々のモデルはこれらのルールをある程度学習し,一般化することができ,また,単語問題という文脈でそれらを再利用できることがわかった。

関連論文リスト

Compositional Generalization with Grounded Language Models [9.96679221246835]
基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
論文参考訳（メタデータ） (2024-06-07T14:56:51Z)
Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-10-10T13:23:05Z)
Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文参考訳（メタデータ） (2023-10-03T00:57:26Z)
Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文参考訳（メタデータ） (2023-07-05T23:21:05Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)
Sample-efficient Linguistic Generalizations through Program Synthesis: Experiments with Phonology Problems [12.661592819420727]
ドメイン固有言語におけるプログラムとして音韻規則を学習する合成モデルを開発した。我々は、言語学オリンピアードの新たな問題データセットを用いて、少数のトレーニング例からモデルを一般化する能力をテストする。
論文参考訳（メタデータ） (2021-06-11T18:36:07Z)
Explainable Matrix -- Visualization for Global and Local Interpretability of Random Forest Classification Ensembles [78.6363825307044]
本研究では,ランダムフォレスト (RF) 解釈のための新しい可視化手法である Explainable Matrix (ExMatrix) を提案する。単純なマトリックスのようなメタファで、行はルール、列は特徴、セルはルールを述語する。 ExMatrixの適用性は、異なる例を通じて確認され、RFモデルの解釈可能性を促進するために実際にどのように使用できるかを示している。
論文参考訳（メタデータ） (2020-05-08T21:03:48Z)
An Analysis on the Learning Rules of the Skip-Gram Model [4.211128681972148]
スキップグラムモデルの学習ルールを導出し、それらの競合学習との密接な関係を確立する。スキップグラムモデルに対して最適解制約を大域的に提供し,実験結果により検証する。
論文参考訳（メタデータ） (2020-03-18T22:17:48Z)
Learning Compositional Rules via Neural Program Synthesis [67.62112086708859]
少数の例からルールシステム全体を学習するニューロシンボリックモデルを提案する。入力からの出力を直接予測する代わりに、前述した例の集合を規定する規則の明示的な体系を誘導するようにモデルを訓練する。
論文参考訳（メタデータ） (2020-03-12T01:06:48Z)
Keeping it simple: Implementation and performance of the proto-principle of adaptation and learning in the language sciences [0.9845144212844665]
We present the Widrow-Hoff rule and its application to language data。ルールを歴史的に解釈し、ニューラルネットワークにインスパイアされた機械学習モデルの連鎖に配置した後、その理論的および実装的考察を説明する。
論文参考訳（メタデータ） (2020-03-08T17:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。