Fugu-MT 論文翻訳(概要): Mathematical Reasoning via Self-supervised Skip-tree Training

論文の概要: Mathematical Reasoning via Self-supervised Skip-tree Training

arxiv url: http://arxiv.org/abs/2006.04757v3
Date: Wed, 12 Aug 2020 07:48:41 GMT
ステータス: 翻訳完了
システム内更新日: 2022-11-24 00:05:56.575773
Title: Mathematical Reasoning via Self-supervised Skip-tree Training
Title（参考訳）: 自己教師付きスキップツリートレーニングによる数学的推論
Authors: Markus N. Rabe and Dennis Lee and Kshitij Bansal and Christian Szegedy
Abstract要約: 数学的公式に適用された自己教師型言語モデリングが論理的推論を可能にするかどうかを検討する。フォーマルな数学的ステートメントに基づいて訓練された言語モデルを評価するために,いくつかの論理的推論タスクを提案する。スキップツリータスクで訓練されたモデルは驚くほど強力な数学的推論能力を示す。
参考スコア（独自算出の注目度）: 17.48858100144651
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We examine whether self-supervised language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task. We find that models trained on the skip-tree task show surprisingly strong mathematical reasoning abilities, and outperform models trained on standard skip-sequence tasks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions are provable and useful in other proofs.
Abstract（参考訳）: 数学式に適用した自己教師あり言語モデリングが論理的推論を可能にするかどうかを検討する。本稿では,型推論や仮定の欠如,等式化など,形式的数学的文で訓練された言語モデルの評価に使用できるいくつかの論理推論タスクを提案する。形式数学のための言語モデルを訓練するために,新しいスキップツリータスクを提案する。スキップツリータスクでトレーニングされたモデルは驚くほど強力な数学的推論能力を示し、標準スキップシーケンスタスクでトレーニングされたモデルよりも優れています。また、予測が証明可能であり、他の証明で有用である頻度を測定することによって、新しい予想を定式化するモデルの能力も分析する。

関連論文リスト

From Black-box to Causal-box: Towards Building More Interpretable Models [57.23201263629627]
本稿では, 因果解釈可能性の概念を導入し, 特定のモデルのクラスから対実的クエリを評価できるときの形式化について述べる。我々は、与えられたモデルアーキテクチャが与えられた偽物クエリをサポートするかどうかを決定する完全なグラフィカルな基準を導出する。
論文参考訳（メタデータ） (2025-10-24T20:03:18Z)
MatheMagic: Generating Dynamic Mathematics Benchmarks Robust to Memorization [24.225957201610118]
現在のベンチマークは、クローズドエンドの回答と合わせて、シンボルやルールの多様性が制限されているため、過度に適合する傾向にある。本稿では,これらの欠点を,動的,非実効的ベンチマークに有用な特徴として活用する手法を提案する。数と演算子の解釈が変更された数学テストインスタンスを生成するMatheMagicを通じてこれを実証するが、自動的に検証できる。
論文参考訳（メタデータ） (2025-10-07T14:19:21Z)
Systematic Diagnosis of Brittle Reasoning in Large Language Models [1.14219428942199]
人工知能における中心的な問題は、機械学習モデルが数学を理解する範囲である。本稿では,特定の故障点を診断するために,標準ベンチマークを超えて数学的推論を計測する新しい枠組みを提案する。
論文参考訳（メタデータ） (2025-10-05T21:40:09Z)
LemmaHead: RAG Assisted Proof Generation Using Large Language Models [0.0]
我々は、関連する数学的文脈でモデルにクエリを補足する知識ベースであるLemmaHeadを開発した。数学的推論におけるモデルの性能を測定するため、我々のテストパラダイムは自動定理証明の課題に焦点を当てている。
論文参考訳（メタデータ） (2025-01-27T05:46:06Z)
Learning an Effective Premise Retrieval Model for Efficient Mathematical Formalization [29.06255449960557]
本研究では,Mathlibから抽出したデータを利用して,軽量で効果的な前提条件検索モデルを訓練する手法を提案する。このモデルは、微粒な類似性計算法と再ランクモジュールを応用した、対照的な学習フレームワークで学習される。実験により,本モデルが既存のベースラインより優れており,計算負荷の低減を図りながら高い精度を実現していることが示された。
論文参考訳（メタデータ） (2025-01-21T06:32:25Z)
Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
論文参考訳（メタデータ） (2024-07-14T01:43:07Z)
Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist [46.670206614087334]
モデルが本当に問題を理解しているなら、さまざまなタスクにまたがって堅牢に適用されるべきである、と私たちは主張する。 MathCheckはタスクの一般化と推論をテストするためのよく設計されたチェックリストである。 MathCheckは真の数学的能力をよく反映し、数学的知性をより線形に表現する。
論文参考訳（メタデータ） (2024-07-11T17:58:58Z)
From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models [38.71041354422434]
大規模言語モデル (LLM) は、数学的推論に関わる幅広い問題を解くために学習する。オープンウェイトLLMの数学的推論能力は,事前学習と後学習の間にどのように発達するかを示す。
論文参考訳（メタデータ） (2024-07-01T01:56:28Z)
Tree-Based Representation and Generation of Natural and Mathematical Language [77.34726150561087]
科学コミュニケーションと教育シナリオにおける数学的言語は重要であるが、比較的研究されている。数学言語に関する最近の研究は、スタンドアローンな数学的表現や、事前訓練された自然言語モデルにおける数学的推論に焦点をあてている。テキストと数学を共同で表現・生成するために,既存の言語モデルに対する一連の修正を提案する。
論文参考訳（メタデータ） (2023-02-15T22:38:34Z)
A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
論文参考訳（メタデータ） (2022-12-20T18:46:16Z)
Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
論文参考訳（メタデータ） (2022-11-03T18:53:30Z)
Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文参考訳（メタデータ） (2022-10-06T00:27:50Z)
Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文参考訳（メタデータ） (2022-01-28T02:33:07Z)
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks [35.046596668631615]
単語予測のために大きなテキストコーパスを用いて事前訓練された自動回帰言語モデルは、多くの下流タスクの解決に成功している。本稿では,テキスト分類の下流課題に対する,この現象の数学的研究を開始する。
論文参考訳（メタデータ） (2020-10-07T20:56:40Z)
Generative Language Modeling for Automated Theorem Proving [94.01137612934842]
この研究は、自動定理プロバーの人間に対する大きな制限が言語モデルから生成することで対処できる可能性によって動機づけられている。本稿ではメタマス形式化言語のための自動証明と証明アシスタント GPT-f を提案し,その性能を解析する。
論文参考訳（メタデータ） (2020-09-07T19:50:10Z)
IsarStep: a Benchmark for High-level Mathematical Reasoning [20.96474618260995]
本稿では,高レベルな数学的推論のためのベンチマークを提案し,ニューラルシークエンス・ツー・シーケンスモデルの推論能力について検討する。我々は、人間の専門家が定理証明器で記述した最大の証明のリポジトリから、非合成データセットを構築した。
論文参考訳（メタデータ） (2020-06-13T21:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。