論文の概要: Learning Reasoning Strategies in End-to-End Differentiable Proving

• arxiv url: http://arxiv.org/abs/2007.06477v3
• Date: Mon, 24 Aug 2020 16:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:30:46.062906
• Title: Learning Reasoning Strategies in End-to-End Differentiable Proving
• Title（参考訳）: エンドツーエンドの微分証明における推論戦略の学習
• Authors: Pasquale Minervini, Sebastian Riedel, Pontus Stenetorp, Edward Grefenstette, Tim Rockt\"aschel
• Abstract要約: 条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。 条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 50.9791149533921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attempts to render deep learning models interpretable, data-efficient, and robust have seen some success through hybridisation with rule-based systems, for example, in Neural Theorem Provers (NTPs). These neuro-symbolic models can induce interpretable rules and learn representations from data via back-propagation, while providing logical explanations for their predictions. However, they are restricted by their computational complexity, as they need to consider all possible proof paths for explaining a goal, thus rendering them unfit for large-scale applications. We present Conditional Theorem Provers (CTPs), an extension to NTPs that learns an optimal rule selection strategy via gradient-based optimisation. We show that CTPs are scalable and yield state-of-the-art results on the CLUTRR dataset, which tests systematic generalisation of neural models by learning to reason over smaller graphs and evaluating on larger ones. Finally, CTPs show better link prediction results on standard benchmarks in comparison with other neural-symbolic models, while being explainable. All source code and datasets are available online, at https://github.com/uclnlp/ctp.
• Abstract（参考訳）: ディープラーニングモデルを解釈可能で、データ効率が高く、ロバストにしようとする試みは、ルールベースのシステムとのハイブリダイゼーション(例えば、neural theorem provers (ntps))で成功している。 これらのニューロシンボリックモデルは解釈可能なルールを導き出し、バックプロパゲーションを通じてデータから表現を学習し、予測の論理的説明を提供する。 しかし、それらは計算の複雑さによって制限され、目的を説明するために可能な全ての証明パスを考慮する必要があるため、大規模アプリケーションには適さない。 我々は、勾配に基づく最適化を通じて最適規則選択戦略を学習するNTPの拡張であるCTP(Conditional Theorem Provers)を提案する。 CTPは、より小さなグラフを推論し、より大きなグラフを評価することによって、ニューラルネットワークの体系的な一般化をテストするCLUTRRデータセット上で、スケーラブルで最先端の結果が得られることを示す。 最後に、CTPは、他のニューラルシンボリックモデルと比較して標準ベンチマークでのリンク予測結果がより良く、説明可能である。 すべてのソースコードとデータセットは、https://github.com/uclnlp/ctp.comからオンラインで入手できる。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
  項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。 この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。 アルゴリズムの実装はオープンソースであり、簡単に利用できる。
  論文  参考訳（メタデータ） (2021-08-26T05:00:27Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Implicit Graph Neural Networks [46.0589136729616]
  Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
  論文  参考訳（メタデータ） (2020-09-14T06:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。