論文の概要: PRover: Proof Generation for Interpretable Reasoning over Rules

• arxiv url: http://arxiv.org/abs/2010.02830v1
• Date: Tue, 6 Oct 2020 15:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:02:20.522467
• Title: PRover: Proof Generation for Interpretable Reasoning over Rules
• Title（参考訳）: PRover:ルールの解釈可能な推論の証明
• Authors: Swarnadeep Saha, Sayan Ghosh, Shashank Srivastava, Mohit Bansal
• Abstract要約: 本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。 本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。 我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
• 参考スコア（独自算出の注目度）: 81.40404921232192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work by Clark et al. (2020) shows that transformers can act as 'soft theorem provers' by answering questions over explicitly provided knowledge in natural language. In our work, we take a step closer to emulating formal theorem provers, by proposing PROVER, an interpretable transformer-based model that jointly answers binary questions over rule-bases and generates the corresponding proofs. Our model learns to predict nodes and edges corresponding to proof graphs in an efficient constrained training paradigm. During inference, a valid proof, satisfying a set of global constraints is generated. We conduct experiments on synthetic, hand-authored, and human-paraphrased rule-bases to show promising results for QA and proof generation, with strong generalization performance. First, PROVER generates proofs with an accuracy of 87%, while retaining or improving performance on the QA task, compared to RuleTakers (up to 6% improvement on zero-shot evaluation). Second, when trained on questions requiring lower depths of reasoning, it generalizes significantly better to higher depths (up to 15% improvement). Third, PROVER obtains near perfect QA accuracy of 98% using only 40% of the training data. However, generating proofs for questions requiring higher depths of reasoning becomes challenging, and the accuracy drops to 65% for 'depth 5', indicating significant scope for future work. Our code and models are publicly available at https://github.com/swarnaHub/PRover
• Abstract（参考訳）: Clark et al. (2020) による最近の研究は、トランスフォーマーが自然言語で明示された知識に関する疑問に答えることによって「ソフトな定理証明者」として振る舞うことができることを示している。 本稿では,形式的定理証明のエミュレートに一歩近づき,ルールベース上の二項問題に共同で答え,対応する証明を生成する解釈可能な変換器モデルであるProVERを提案する。 我々のモデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測することを学ぶ。 推論の間、グローバル制約のセットを満たす有効な証明が生成される。 我々は、合成、手書き、および人間の準規則ベースの実験を行い、優れた一般化性能を持つ、qaおよび証明生成に有望な結果を示す。 まず、プルーバーは87%の精度で証明を生成し、qaタスクのパフォーマンスをルールテイカーと比較して保持または改善する(ゼロショット評価では最大6%改善)。 第二に、推論の深さを下げる必要がある質問を訓練すると、より高い深さ(最大15%の改善)にかなりよく一般化する。 第3に、トレーニングデータの40%しか使用せず、ほぼ完璧なQA精度が98%に達する。 しかし、推論の深みを必要とする問題に対する証明を作成することは難しくなり、精度は「深み5」の65%に低下し、将来の作業に重要なスコープが示される。 私たちのコードとモデルはhttps://github.com/swarnaHub/PRoverで公開されています。

関連論文リスト

• Alchemy: Amplifying Theorem-Proving Capability through Symbolic Mutation [71.32761934724867]
  この研究は、記号的突然変異を通じて形式的な定理を構成するデータ合成のフレームワークであるAlchemyを提案する。 マドリブにおける各候補定理について、書き直しや適用に使用できるすべてのイベーシブルな定理を同定する。 その結果、マドリブの定理の数は110kから6Mへと桁違いに増加する。
  論文  参考訳（メタデータ） (2024-10-21T08:04:21Z)
• MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
  MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。 5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。 我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-02-14T05:57:58Z)
• KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering [11.537283115693432]
  本稿では,ジェネレート・Then-Rankパイプラインアーキテクチャに基づく知識向上と可視性ランキング手法を提案する。 具体的には、キーワードのWiktionary Commonsense知識の観点から質問を拡張し、正規化パターンで修正する。 ELECTRAに基づく回答ランキングモデルを構築し、学習中にロジスティック回帰を行う。
  論文  参考訳（メタデータ） (2023-05-15T04:58:37Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)
• Generating Natural Language Proofs with Verifier-Guided Search [74.9614610172561]
  NLProofS (Natural Language Proof Search) を提案する。 NLProofSは仮説に基づいて関連するステップを生成することを学習する。 EntailmentBank と RuleTaker の最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-05-25T02:22:30Z)
• Interpretable Proof Generation via Iterative Backward Reasoning [37.03964644070573]
  ルールベース質問回答(QA)における証明生成タスクを解決するための反復的後方推論モデルIRRを提案する。 1) 証明パスのノードとエッジを反復的に後方に予測することで, 詳細な追跡による推論手順の解釈可能性を高めること, 2) 証明生成時に外部ノイズを発生させる可能性のある中間テキストを使わずに, ノードと履歴パスの詳細な表現を推論することで, 効率と精度を向上させること。
  論文  参考訳（メタデータ） (2022-05-22T02:44:14Z)
• Probabilistic Graph Reasoning for Natural Proof Generation [22.1374469158861]
  共同回答予測と証明生成のための新しい手法であるPRobrを提案する。 PRobr はすべての可能な証明グラフと答えに対する合同確率分布を定義する。 複数のデータセットの実験は、PRobrの有効性を検証する。
  論文  参考訳（メタデータ） (2021-07-06T06:34:41Z)
• Logic-Guided Data Augmentation and Regularization for Consistent Question Answering [55.05667583529711]
  本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。 提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2020-04-21T17:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。