論文の概要: Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2103.14443v1
• Date: Fri, 26 Mar 2021 12:55:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:58:55.854360
• Title: Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
• Title（参考訳）: 知識埋め込み以外の接続を組み込む:機械読解における常識推論を強化するプラグ・アンド・プレイモジュール
• Authors: Damai Dai, Hua Zheng, Zhifang Sui, Baobao Chang
• Abstract要約: そこで我々は,CommonsEnse ReasoningのためのIncorporatE Connection情報に対するPlug-and-playモジュールを提案する。 PIECERは、単語間の知識指向接続によって常識推論を明示的に導くために、共同クエリパスグラフを構築する。 大規模公開RCデータセットであるReCoRDの実験結果は、PIECERが安定した性能改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 24.162796796667326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional Machine Reading Comprehension (MRC) has been well-addressed by pattern matching, but the ability of commonsense reasoning remains a gap between humans and machines. Previous methods tackle this problem by enriching word representations via pre-trained Knowledge Graph Embeddings (KGE). However, they make limited use of a large number of connections between nodes in Knowledge Graphs (KG), which could be pivotal cues to build the commonsense reasoning chains. In this paper, we propose a Plug-and-play module to IncorporatE Connection information for commonsEnse Reasoning (PIECER). Beyond enriching word representations with knowledge embeddings, PIECER constructs a joint query-passage graph to explicitly guide commonsense reasoning by the knowledge-oriented connections between words. Further, PIECER has high generalizability since it can be plugged into suitable positions in any MRC model. Experimental results on ReCoRD, a large-scale public MRC dataset requiring commonsense reasoning, show that PIECER introduces stable performance improvements for four representative base MRC models, especially in low-resource settings.
• Abstract（参考訳）: 従来型機械読解理解(MRC)はパターンマッチングによって十分に適応されてきたが、常識推論の能力は人間と機械のギャップを保っている。 事前学習した知識グラフ埋め込み (KGE) を通じて単語表現を豊かにすることで, この問題に対処する。 しかし、彼らはナレッジグラフ(kg)のノード間の多数の接続を限定的に使用しており、コモンセンス推論チェーンを構築する上で重要な手がかりとなる可能性がある。 本稿では,CommonsEnse Reasoning (PIECER) のためのIncorporatE Connection情報に対するPlug-and-playモジュールを提案する。 知識埋め込みで単語表現を豊かにするだけでなく、splitrは、単語間の知識指向接続による常識推論を明示的にガイドする共同クエリパスグラフを構築している。 さらに、PIECER は任意の MRC モデルにおいて適切な位置に差し込むことができるため、高い一般化性を有する。 大規模公開RCデータセットReCoRDの実験結果から,PIECERは4つの代表的MCCモデル,特に低リソース環境において,安定した性能向上を実現していることがわかった。

関連論文リスト

• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing Semantics with MASCHInE [3.174882428337821]
  近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。 本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。 学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
  論文  参考訳（メタデータ） (2023-06-06T13:22:54Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings [29.94706167233985]
  kNN-KGEは、事前訓練された言語モデルを用いた新しい知識グラフ埋め込みアプローチである。 我々は、知識ストアからのエンティティ埋め込み空間内の距離に基づいて、最も近い隣人を計算する。
  論文  参考訳（メタデータ） (2022-01-14T17:35:16Z)
• JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering [3.7948783125888363]
  質問応答のための既存のKG拡張モデルは主に知識グラフ(KG)をモデル化するための精巧なグラフニューラルネットワーク(GNN)の設計に焦点を当てている。 本稿では,LMとGNNの結合推論と動的KGs刈り込み機構により,上記の制約を解く新しいモデルであるJointLKを提案する。 CommonsenseQA と OpenBookQA のデータセットで得られた結果は,我々のモーダルフュージョンとナレッジ・プルーニングの手法が推論に関連性のある知識をうまく活用できることを実証している。
  論文  参考訳（メタデータ） (2021-12-06T01:46:46Z)
• Towards Robust Knowledge Graph Embedding via Multi-task Reinforcement Learning [44.38215560989223]
  既存の知識グラフ埋め込み法の多くは、KGの3つの事実はすべて正しいと仮定する。 これはKGの低品質かつ信頼性の低い表現につながる。 本稿では,ノイズの多いデータ問題を大幅に軽減できる汎用マルチタスク強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-11T08:51:37Z)
• Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
  知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。 既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。 本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:21:36Z)
• Coreference Reasoning in Machine Reading Comprehension [100.75624364257429]
  機械読解におけるコレファレンス推論は,従来考えられていたよりも大きな課題である。 本稿では,コア参照推論の課題を反映した理解データセットの読解手法を提案する。 これにより、さまざまなMRCデータセットにまたがる最先端のモデルの推論能力が向上します。
  論文  参考訳（メタデータ） (2020-12-31T12:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。