Fugu-MT 論文翻訳(概要): G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

論文の概要: G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

arxiv url: http://arxiv.org/abs/2405.05616v1
Date: Thu, 9 May 2024 08:28:12 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 13:52:35.656342
Title: G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning
Title（参考訳）: G-SAP:コモンセンス推論のための不均一知識を用いたグラフ型構造認識学習
Authors: Ruiting Dai, Yuqiao Tan, Lisi Mo, Shuang Liang, Guohao Huo, Jiayi Luo, Yao Cheng,
Abstract要約: 本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
参考スコア（独自算出の注目度）: 8.02547453169677
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Commonsense question answering has demonstrated considerable potential across various applications like assistants and social robots. Although fully fine-tuned pre-trained Language Models(LM) have achieved remarkable performance in commonsense reasoning, their tendency to excessively prioritize textual information hampers the precise transfer of structural knowledge and undermines interpretability. Some studies have explored combining LMs with Knowledge Graphs(KGs) by coarsely fusing the two modalities to perform Graph Neural Network(GNN)-based reasoning that lacks a profound interaction between heterogeneous modalities. In this paper, we propose a novel Graph-based Structure-Aware Prompt Learning Model for commonsense reasoning, named G-SAP, aiming to maintain a balance between heterogeneous knowledge and enhance the cross-modal interaction within the LM+GNNs model. In particular, an evidence graph is constructed by integrating multiple knowledge sources, i.e. ConceptNet, Wikipedia, and Cambridge Dictionary to boost the performance. Afterward, a structure-aware frozen PLM is employed to fully incorporate the structured and textual information from the evidence graph, where the generation of prompts is driven by graph entities and relations. Finally, a heterogeneous message-passing reasoning module is used to facilitate deep interaction of knowledge between the LM and graph-based networks. Empirical validation, conducted through extensive experiments on three benchmark datasets, demonstrates the notable performance of the proposed model. The results reveal a significant advancement over the existing models, especially, with 6.12% improvement over the SoTA LM+GNNs model on the OpenbookQA dataset.
Abstract（参考訳）: コモンセンスな質問応答は、アシスタントやソーシャルロボットなど、さまざまなアプリケーションにおいて大きな可能性を秘めている。完全に微調整された事前学習言語モデル(LM)は、常識的推論において顕著な性能を達成しているが、テキスト情報を過度に優先順位付けする傾向は、構造的知識の正確な伝達を妨げ、解釈可能性を損なう。いくつかの研究では、不均一なモーダル間の深い相互作用を欠くグラフニューラルネットワーク(GNN)に基づく推論を行うために、2つのモーダルを粗く融合させることにより、LMと知識グラフ(KG)を組み合わせることを検討した。本稿では,多種間知識のバランスを保ち,LM+GNNsモデル内での相互の相互作用を強化することを目的とした,G-SAPという,グラフベースの共通理解推論のための新しい構造認識型プロンプト学習モデルを提案する。特に、エビデンスグラフは、複数の知識ソース(ConceptNet、Wikipedia、Cambridge Dictionary)を統合して、パフォーマンスを向上させることによって構築される。その後、構造対応冷凍PLMを用いてエビデンスグラフからの構造化情報とテキスト情報を完全に統合し、グラフエンティティと関係によってプロンプトの生成を駆動する。最後に、LMとグラフベースのネットワーク間の知識の深い相互作用を容易にするために、異種メッセージパス推論モジュールが使用される。 3つのベンチマークデータセットに関する広範な実験を通じて実施された実証検証は、提案モデルの顕著な性能を実証する。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。

関連論文リスト

Advanced RAG Models with Graph Structures: Optimizing Complex Knowledge Reasoning and Text Generation [7.3491970177535]
本研究では,グラフニューラルネットワーク(GNN)を組み合わせたグラフ構造データ処理手法を提案する。この結果から,本論文で提案するグラフベースRAGモデルは,品質,知識の整合性,推論能力の点で従来の世代モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2024-11-06T00:23:55Z)
Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
論文参考訳（メタデータ） (2024-10-30T20:48:34Z)
Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-07-26T14:07:00Z)
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文参考訳（メタデータ） (2024-01-28T06:43:13Z)
ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文参考訳（メタデータ） (2023-12-30T07:18:54Z)
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
論文参考訳（メタデータ） (2023-05-24T11:53:19Z)
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
論文参考訳（メタデータ） (2023-05-10T16:31:35Z)
Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文参考訳（メタデータ） (2022-05-15T11:38:14Z)
Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文参考訳（メタデータ） (2021-02-14T03:21:36Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)
Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。