論文の概要: Mathematical Reasoning via Self-supervised Skip-tree Training

• arxiv url: http://arxiv.org/abs/2006.04757v3
• Date: Wed, 12 Aug 2020 07:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:05:56.575773
• Title: Mathematical Reasoning via Self-supervised Skip-tree Training
• Title（参考訳）: 自己教師付きスキップツリートレーニングによる数学的推論
• Authors: Markus N. Rabe and Dennis Lee and Kshitij Bansal and Christian Szegedy
• Abstract要約: 数学的公式に適用された自己教師型言語モデリングが論理的推論を可能にするかどうかを検討する。 フォーマルな数学的ステートメントに基づいて訓練された言語モデルを評価するために,いくつかの論理的推論タスクを提案する。 スキップツリータスクで訓練されたモデルは驚くほど強力な数学的推論能力を示す。
• 参考スコア（独自算出の注目度）: 17.48858100144651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine whether self-supervised language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task. We find that models trained on the skip-tree task show surprisingly strong mathematical reasoning abilities, and outperform models trained on standard skip-sequence tasks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions are provable and useful in other proofs.
• Abstract（参考訳）: 数学式に適用した自己教師あり言語モデリングが論理的推論を可能にするかどうかを検討する。 本稿では,型推論や仮定の欠如,等式化など,形式的数学的文で訓練された言語モデルの評価に使用できるいくつかの論理推論タスクを提案する。 形式数学のための言語モデルを訓練するために,新しいスキップツリータスクを提案する。 スキップツリータスクでトレーニングされたモデルは驚くほど強力な数学的推論能力を示し、標準スキップシーケンスタスクでトレーニングされたモデルよりも優れています。 また、予測が証明可能であり、他の証明で有用である頻度を測定することによって、新しい予想を定式化するモデルの能力も分析する。

関連論文リスト

• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist [46.670206614087334]
  モデルが本当に問題を理解しているなら、さまざまなタスクにまたがって堅牢に適用されるべきである、と私たちは主張する。 MathCheckはタスクの一般化と推論をテストするためのよく設計されたチェックリストである。 MathCheckは真の数学的能力をよく反映し、数学的知性をより線形に表現する。
  論文  参考訳（メタデータ） (2024-07-11T17:58:58Z)
• Tree-Based Representation and Generation of Natural and Mathematical Language [77.34726150561087]
  科学コミュニケーションと教育シナリオにおける数学的言語は重要であるが、比較的研究されている。 数学言語に関する最近の研究は、スタンドアローンな数学的表現や、事前訓練された自然言語モデルにおける数学的推論に焦点をあてている。 テキストと数学を共同で表現・生成するために,既存の言語モデルに対する一連の修正を提案する。
  論文  参考訳（メタデータ） (2023-02-15T22:38:34Z)
• A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
  我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。 大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
  論文  参考訳（メタデータ） (2022-12-20T18:46:16Z)
• Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
  我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。 具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:53:30Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks [35.046596668631615]
  単語予測のために大きなテキストコーパスを用いて事前訓練された自動回帰言語モデルは、多くの下流タスクの解決に成功している。 本稿では,テキスト分類の下流課題に対する,この現象の数学的研究を開始する。
  論文  参考訳（メタデータ） (2020-10-07T20:56:40Z)
• Generative Language Modeling for Automated Theorem Proving [94.01137612934842]
  この研究は、自動定理プロバーの人間に対する大きな制限が言語モデルから生成することで対処できる可能性によって動機づけられている。 本稿ではメタマス形式化言語のための自動証明と証明アシスタント GPT-f を提案し,その性能を解析する。
  論文  参考訳（メタデータ） (2020-09-07T19:50:10Z)
• IsarStep: a Benchmark for High-level Mathematical Reasoning [20.96474618260995]
  本稿では,高レベルな数学的推論のためのベンチマークを提案し,ニューラルシークエンス・ツー・シーケンスモデルの推論能力について検討する。 我々は、人間の専門家が定理証明器で記述した最大の証明のリポジトリから、非合成データセットを構築した。
  論文  参考訳（メタデータ） (2020-06-13T21:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。