Fugu-MT 論文翻訳(概要): G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

論文の概要: G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

arxiv url: http://arxiv.org/abs/2405.05616v1
Date: Thu, 9 May 2024 08:28:12 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 13:52:35.656342
Title: G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning
Title（参考訳）: G-SAP:コモンセンス推論のための不均一知識を用いたグラフ型構造認識学習
Authors: Ruiting Dai, Yuqiao Tan, Lisi Mo, Shuang Liang, Guohao Huo, Jiayi Luo, Yao Cheng,
Abstract要約: 本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
参考スコア（独自算出の注目度）: 8.02547453169677
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Commonsense question answering has demonstrated considerable potential across various applications like assistants and social robots. Although fully fine-tuned pre-trained Language Models(LM) have achieved remarkable performance in commonsense reasoning, their tendency to excessively prioritize textual information hampers the precise transfer of structural knowledge and undermines interpretability. Some studies have explored combining LMs with Knowledge Graphs(KGs) by coarsely fusing the two modalities to perform Graph Neural Network(GNN)-based reasoning that lacks a profound interaction between heterogeneous modalities. In this paper, we propose a novel Graph-based Structure-Aware Prompt Learning Model for commonsense reasoning, named G-SAP, aiming to maintain a balance between heterogeneous knowledge and enhance the cross-modal interaction within the LM+GNNs model. In particular, an evidence graph is constructed by integrating multiple knowledge sources, i.e. ConceptNet, Wikipedia, and Cambridge Dictionary to boost the performance. Afterward, a structure-aware frozen PLM is employed to fully incorporate the structured and textual information from the evidence graph, where the generation of prompts is driven by graph entities and relations. Finally, a heterogeneous message-passing reasoning module is used to facilitate deep interaction of knowledge between the LM and graph-based networks. Empirical validation, conducted through extensive experiments on three benchmark datasets, demonstrates the notable performance of the proposed model. The results reveal a significant advancement over the existing models, especially, with 6.12% improvement over the SoTA LM+GNNs model on the OpenbookQA dataset.
Abstract（参考訳）: コモンセンスな質問応答は、アシスタントやソーシャルロボットなど、さまざまなアプリケーションにおいて大きな可能性を秘めている。完全に微調整された事前学習言語モデル(LM)は、常識的推論において顕著な性能を達成しているが、テキスト情報を過度に優先順位付けする傾向は、構造的知識の正確な伝達を妨げ、解釈可能性を損なう。いくつかの研究では、不均一なモーダル間の深い相互作用を欠くグラフニューラルネットワーク(GNN)に基づく推論を行うために、2つのモーダルを粗く融合させることにより、LMと知識グラフ(KG)を組み合わせることを検討した。本稿では,多種間知識のバランスを保ち,LM+GNNsモデル内での相互の相互作用を強化することを目的とした,G-SAPという,グラフベースの共通理解推論のための新しい構造認識型プロンプト学習モデルを提案する。特に、エビデンスグラフは、複数の知識ソース(ConceptNet、Wikipedia、Cambridge Dictionary)を統合して、パフォーマンスを向上させることによって構築される。その後、構造対応冷凍PLMを用いてエビデンスグラフからの構造化情報とテキスト情報を完全に統合し、グラフエンティティと関係によってプロンプトの生成を駆動する。最後に、LMとグラフベースのネットワーク間の知識の深い相互作用を容易にするために、異種メッセージパス推論モジュールが使用される。 3つのベンチマークデータセットに関する広範な実験を通じて実施された実証検証は、提案モデルの顕著な性能を実証する。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。

関連論文リスト

LLM-Enhanced User-Item Interactions: Leveraging Edge Information for Optimized Recommendations [28.77605585519833]
近年の人気のある研究分野であるグラフニューラルネットワークは、関係マイニングについて多くの研究を行っている。グラフニューラルネットワークにおける現在の最先端の研究は、大きな言語モデルと効果的に統合されていない。本稿では,LLMの強い文脈表現能力とGNNの関係抽出と解析機能を組み合わせた,革新的なフレームワークを提案する。
論文参考訳（メタデータ） (2024-02-14T23:12:09Z)
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文参考訳（メタデータ） (2024-01-28T06:43:13Z)
Path-based Explanation for Knowledge Graph Completion [18.819056717782104]
GNNベースの知識グラフ補完モデルの結果に対する適切な説明は、モデルの透明性を高める。 KGCタスクを説明するための既存のプラクティスは、インスタンス/サブグラフベースのアプローチに依存している。我々は、GNNベースのモデルを探索する最初のパスベースのKGC説明器であるPower-Linkを提案する。
論文参考訳（メタデータ） (2024-01-04T14:19:37Z)
ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文参考訳（メタデータ） (2023-12-30T07:18:54Z)
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
論文参考訳（メタデータ） (2023-05-24T11:53:19Z)
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [21.331251731675668]
常識知識は多くの自然言語処理タスクに不可欠である。既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
論文参考訳（メタデータ） (2023-05-10T16:31:35Z)
Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文参考訳（メタデータ） (2022-05-15T11:38:14Z)
Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文参考訳（メタデータ） (2021-02-14T03:21:36Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)
Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。