論文の概要: Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2205.01841v1
- Date: Wed, 4 May 2022 01:27:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 13:37:22.887483
- Title: Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
- Title(参考訳): 偉大な真実は常に単純である: 事前学習されたモデルの常識推論能力を高めるための、かなり単純な知識エンコーダ
- Authors: Jinhao Jiang, Kun Zhou, Wayne Xin Zhao and Ji-Rong Wen
- Abstract要約: 自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
- 参考スコア(独自算出の注目度): 89.98762327725112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commonsense reasoning in natural language is a desired ability of artificial
intelligent systems. For solving complex commonsense reasoning tasks, a typical
solution is to enhance pre-trained language models~(PTMs) with a
knowledge-aware graph neural network~(GNN) encoder that models a commonsense
knowledge graph~(CSKG). Despite the effectiveness, these approaches are built
on heavy architectures, and can't clearly explain how external knowledge
resources improve the reasoning capacity of PTMs. Considering this issue, we
conduct a deep empirical analysis, and find that it is indeed relation features
from CSKGs (but not node features) that mainly contribute to the performance
improvement of PTMs. Based on this finding, we design a simple MLP-based
knowledge encoder that utilizes statistical relation paths as features.
Extensive experiments conducted on five benchmarks demonstrate the
effectiveness of our approach, which also largely reduces the parameters for
encoding CSKGs. Our codes and data are publicly available at
https://github.com/RUCAIBox/SAFE.
- Abstract(参考訳): 自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するために、典型的な解決策は、知識を意識したグラフニューラルネットワーク~(GNN)エンコーダで事前訓練された言語モデル~(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
この問題を考慮し、我々は深い経験分析を行い、主にPTMの性能改善に寄与するCSKGs(ノード特徴ではない)と関係性があることを発見した。
この発見に基づいて,統計的関係経路を特徴として用いたシンプルなMLPベースの知識エンコーダを設計する。
5つのベンチマークで広範な実験を行った結果,本手法の有効性が示され,cskgの符号化パラメータも大幅に削減された。
私たちのコードとデータはhttps://github.com/rucaibox/safeで公開されています。
関連論文リスト
- ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Deep Knowledge Tracing is an implicit dynamic multidimensional item
response theory model [25.894399244406287]
ディープ・ナレッジ・トレーシング(Deep Knowledge Trace, DKT)は、リカレントニューラルネットワークに依存するナレッジ・トレースの競合モデルである。
本稿では,エンコーダデコーダアーキテクチャとして深い知識追跡を行う。
より単純なデコーダは、DKTが使用するデコーダよりもパラメータが少なく、学生のパフォーマンスをより良く予測できることを示す。
論文 参考訳(メタデータ) (2023-08-18T09:32:49Z) - Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph
Completion [69.55700751102376]
FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。
既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。
本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
論文 参考訳(メタデータ) (2023-04-17T11:42:28Z) - CARE: Certifiably Robust Learning with Reasoning via Variational
Inference [26.210129662748862]
推論パイプライン(CARE)を用いた頑健な学習を提案する。
CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。
さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
論文 参考訳(メタデータ) (2022-09-12T07:15:52Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳(メタデータ) (2022-05-31T13:00:34Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳(メタデータ) (2022-05-02T14:42:05Z) - EvoLearner: Learning Description Logics with Evolutionary Algorithms [2.0096667731426976]
知識グラフにおけるノードの分類は重要なタスクであり、例えば、欠落したタイプのエンティティを予測したり、どの分子ががんの原因となるかを予測したり、どの薬物が有望な治療候補であるかを予測する。
EvoLearner - 肯定的および否定的な例から記述論理の概念を学習するための進化的アプローチを提案する。
論文 参考訳(メタデータ) (2021-11-08T23:47:39Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。