論文の概要: Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation
- arxiv url: http://arxiv.org/abs/2306.16195v1
- Date: Wed, 28 Jun 2023 13:21:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 14:06:57.361053
- Title: Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation
- Title（参考訳）: 動的グラフ知識集約による対話生成の促進
- Authors: Chen Tang, Hongbo Zhang, Tyler Loakman, Chenghua Lin and Frank Guerin
- Abstract要約: 従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。
このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。
知識グラフ強化対話生成のための新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.54754465832362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incorporating external graph knowledge into neural chatbot models has been
proven effective for enhancing dialogue generation. However, in conventional
graph neural networks (GNNs), message passing on a graph is independent from
text, resulting in the graph representation hidden space differing from that of
the text. This training regime of existing models therefore leads to a semantic
gap between graph knowledge and text. In this study, we propose a novel
framework for knowledge graph enhanced dialogue generation. We dynamically
construct a multi-hop knowledge graph with pseudo nodes to involve the language
model in feature aggregation within the graph at all steps. To avoid the
semantic biases caused by learning on vanilla subgraphs, the proposed framework
applies hierarchical graph attention to aggregate graph features on pseudo
nodes and then attains a global feature. Therefore, the framework can better
utilise the heterogeneous features from both the post and external graph
knowledge. Extensive experiments demonstrate that our framework outperforms
state-of-the-art (SOTA) baselines on dialogue generation. Further analysis also
shows that our representation learning framework can fill the semantic gap by
coagulating representations of both text and graph knowledge. Moreover, the
language model also learns how to better select knowledge triples for a more
informative response via exploiting subgraph patterns within our feature
aggregation process. Our code and resources are available at
https://github.com/tangg555/SaBART.
- Abstract（参考訳）: 外部グラフ知識をニューラルチャットボットモデルに組み込むことは、対話生成の強化に有効であることが証明されている。
しかし、従来のグラフニューラルネットワーク(gnns)では、グラフ上のメッセージパッシングはテキストから独立しており、結果としてグラフ表現の隠れ空間はテキストとは異なっている。
既存のモデルのこのトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。
本研究では,知識グラフ強化対話生成のための新しいフレームワークを提案する。
疑似ノードを持つマルチホップ知識グラフを動的に構築し,すべてのステップで言語モデルをグラフ内の特徴集約に組み込む。
バニラ部分グラフの学習による意味バイアスを回避するため,提案フレームワークは疑似ノード上のグラフの特徴を集約する階層グラフの注意を応用し,グローバルな特徴を得る。
したがって、フレームワークはポストと外部のグラフの知識の両方から異質な機能をうまく利用することができる。
広範な実験により,対話生成におけるsota(state-of-the-art)ベースラインよりも優れたフレームワークが得られた。
さらに,テキストとグラフの知識の両方の表現を凝集することにより,表現学習フレームワークが意味的ギャップを埋めることを示す。
さらに、言語モデルは、機能集約プロセスでサブグラフパターンを利用することによって、より有益な応答のために知識トリプルを選択する方法も学んでいます。
私たちのコードとリソースはhttps://github.com/tangg555/sabartで利用可能です。
関連論文リスト
- GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models [33.3678293782131]
本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。
言語指導によるビュージェネレーションの改善を目指しています。
これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
論文 参考訳（メタデータ） (2024-06-17T17:49:19Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳（メタデータ） (2024-02-12T13:13:04Z) - Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs
in Language Pretraining [62.069374456021016]
議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。
また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
論文 参考訳（メタデータ） (2023-12-01T19:03:38Z) - GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。
GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文 参考訳（メタデータ） (2023-10-23T17:18:35Z) - Controlling Topic-Focus Articulation in Meaning-to-Text Generation using
Graph Neural Networks [8.334427140256606]
グラフニューラルモデルを用いたトピック・フォーカス調音法(TFA)の3つの異なる手法を試行する。
グラフニューラルモデルにおけるノードアグリゲーションに関する新しい符号化手法を提案する。これは、隣接ノード情報を集約することで従来の符号化ではなく、深さ優先探索を用いてノード表現を学習する。
論文 参考訳（メタデータ） (2023-10-03T13:51:01Z) - ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。
提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。
実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T17:53:30Z) - CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。
これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。
実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
論文 参考訳（メタデータ） (2023-05-10T16:31:35Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳（メタデータ） (2021-05-06T12:20:41Z) - A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for
Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。
構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2020-04-25T04:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。