論文の概要: Graph Contrastive Pre-training for Effective Theorem Reasoning
- arxiv url: http://arxiv.org/abs/2108.10821v1
- Date: Tue, 24 Aug 2021 16:14:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 14:12:29.986140
- Title: Graph Contrastive Pre-training for Effective Theorem Reasoning
- Title（参考訳）: 効率的な理論推論のためのグラフコントラスト事前学習
- Authors: Zhaoyu Li, Binghong Chen, Xujie Si
- Abstract要約: 既存の手法は、人間の専門家による証明から深層ニューラルネットワークに基づくモデルを学ぶことによって、戦術予測の有望な結果を示す。
本稿では,定理証明のための表現学習の改善に着目した新しい拡張であるNeuroTacticを提案する。
- 参考スコア（独自算出の注目度）: 6.721845345130468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive theorem proving is a challenging and tedious process, which
requires non-trivial expertise and detailed low-level instructions (or tactics)
from human experts. Tactic prediction is a natural way to automate this
process. Existing methods show promising results on tactic prediction by
learning a deep neural network (DNN) based model from proofs written by human
experts. In this paper, we propose NeuroTactic, a novel extension with a
special focus on improving the representation learning for theorem proving.
NeuroTactic leverages graph neural networks (GNNs) to represent the theorems
and premises, and applies graph contrastive learning for pre-training. We
demonstrate that the representation learning of theorems is essential to
predict tactics. Compared with other methods, NeuroTactic achieves
state-of-the-art performance on the CoqGym dataset.
- Abstract（参考訳）: インタラクティブな定理証明は困難で退屈なプロセスであり、人間の専門家からの非自明な専門知識と詳細な低レベルな指示(または戦術)を必要とする。
戦術予測はこのプロセスを自動化する自然な方法です。
既存の手法は、人間の専門家による証明からディープニューラルネットワーク(DNN)に基づくモデルを学ぶことによって、戦術予測に関する有望な結果を示す。
本稿では,定理証明のための表現学習の改善に焦点を絞った新しい拡張であるニューロタクティクスを提案する。
NeuroTacticは、グラフニューラルネットワーク(GNN)を利用して、定理と前提を表現し、事前学習にグラフコントラスト学習を適用する。
定理の表現学習が戦術予測に不可欠であることを実証する。
他の方法と比較して、NeuroTacticはCoqGymデータセット上で最先端のパフォーマンスを達成する。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Concept Prerequisite Relation Prediction by Using Permutation-Equivariant Directed Graph Neural Networks [3.1688996975958306]
CPRPは、概念の前提条件関係予測であり、AIを教育に利用する上での基本的な課題である。
Wesfeiler-Lehman 検定を GNN 学習に導入することにより,変分同変の有向 GNN モデルを提案する。
我々のモデルは最先端の手法よりも優れた予測性能を提供する。
論文 参考訳（メタデータ） (2023-12-15T14:01:56Z) - Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A
Relational Anonymous Walk-guided Neural Process Approach [49.00753238429618]
知識グラフ上のインダクティブリンク予測は,少数ショットリンクを観測した未確認エンティティのリンク不足を予測することを目的としている。
近年の帰納的手法は、目に見えない実体を取り巻く部分グラフを用いて意味情報を取得し、リンクを誘導的に予測する。
本稿では,知識グラフ上の数ショットの帰納的リンク予測をRawNPと表記する,新しいリレーショナル匿名型歩行誘導ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-06-26T12:02:32Z) - Adversarial Attacks on the Interpretation of Neuron Activation
Maximization [70.5472799454224]
アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。
本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
論文 参考訳（メタデータ） (2023-06-12T19:54:33Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - How Neural Processes Improve Graph Link Prediction [35.652234989200956]
リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。
NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
論文 参考訳（メタデータ） (2021-09-30T07:35:13Z) - Predicting cognitive scores with graph neural networks through sample
selection learning [0.0]
機能的脳コネクトームは知能商(IQ)スコアなどの認知的指標を予測するために用いられる。
脳の接続からIQスコアを予測するための新しい回帰GNNモデル(RegGNN)を設計する。
また,最も予測力の高いトレーニングサンプルの選定方法を学ぶことを目的とした,emphlearningに基づくサンプル選択手法を提案する。
論文 参考訳（メタデータ） (2021-06-17T11:45:39Z) - Learning to Guide a Saturation-Based Theorem Prover [9.228237801323042]
TRAILは、ニューラルネットワーク内で証明される飽和に基づく定理の中核要素を特徴付ける、深い学習に基づく定理証明のアプローチである。
我々の知る限りでは、TRAILは最先端の伝統的な定理証明器の性能を超える最初の強化学習に基づくアプローチである。
論文 参考訳（メタデータ） (2021-06-07T18:35:57Z) - Training a First-Order Theorem Prover from Synthetic Data [50.23600875138756]
自動定理証明に機械学習を適用する際の大きな課題は、トレーニングデータの不足である。
本稿では,人間のデータを公理によらずに,純粋に合成生成定理をトレーニングする手法を提案する。
私達の神経証明者は時間および検索のステップのこの総合的なデータで最先端のE-proverを上回っます。
論文 参考訳（メタデータ） (2021-03-05T17:01:34Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。