論文の概要: Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation
- arxiv url: http://arxiv.org/abs/2306.16195v1
- Date: Wed, 28 Jun 2023 13:21:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 14:06:57.361053
- Title: Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation
- Title(参考訳): 動的グラフ知識集約による対話生成の促進
- Authors: Chen Tang, Hongbo Zhang, Tyler Loakman, Chenghua Lin and Frank Guerin
- Abstract要約: 従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。
このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。
知識グラフ強化対話生成のための新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 23.54754465832362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incorporating external graph knowledge into neural chatbot models has been
proven effective for enhancing dialogue generation. However, in conventional
graph neural networks (GNNs), message passing on a graph is independent from
text, resulting in the graph representation hidden space differing from that of
the text. This training regime of existing models therefore leads to a semantic
gap between graph knowledge and text. In this study, we propose a novel
framework for knowledge graph enhanced dialogue generation. We dynamically
construct a multi-hop knowledge graph with pseudo nodes to involve the language
model in feature aggregation within the graph at all steps. To avoid the
semantic biases caused by learning on vanilla subgraphs, the proposed framework
applies hierarchical graph attention to aggregate graph features on pseudo
nodes and then attains a global feature. Therefore, the framework can better
utilise the heterogeneous features from both the post and external graph
knowledge. Extensive experiments demonstrate that our framework outperforms
state-of-the-art (SOTA) baselines on dialogue generation. Further analysis also
shows that our representation learning framework can fill the semantic gap by
coagulating representations of both text and graph knowledge. Moreover, the
language model also learns how to better select knowledge triples for a more
informative response via exploiting subgraph patterns within our feature
aggregation process. Our code and resources are available at
https://github.com/tangg555/SaBART.
- Abstract(参考訳): 外部グラフ知識をニューラルチャットボットモデルに組み込むことは、対話生成の強化に有効であることが証明されている。
しかし、従来のグラフニューラルネットワーク(gnns)では、グラフ上のメッセージパッシングはテキストから独立しており、結果としてグラフ表現の隠れ空間はテキストとは異なっている。
既存のモデルのこのトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。
本研究では,知識グラフ強化対話生成のための新しいフレームワークを提案する。
疑似ノードを持つマルチホップ知識グラフを動的に構築し,すべてのステップで言語モデルをグラフ内の特徴集約に組み込む。
バニラ部分グラフの学習による意味バイアスを回避するため,提案フレームワークは疑似ノード上のグラフの特徴を集約する階層グラフの注意を応用し,グローバルな特徴を得る。
したがって、フレームワークはポストと外部のグラフの知識の両方から異質な機能をうまく利用することができる。
広範な実験により,対話生成におけるsota(state-of-the-art)ベースラインよりも優れたフレームワークが得られた。
さらに,テキストとグラフの知識の両方の表現を凝集することにより,表現学習フレームワークが意味的ギャップを埋めることを示す。
さらに、言語モデルは、機能集約プロセスでサブグラフパターンを利用することによって、より有益な応答のために知識トリプルを選択する方法も学んでいます。
私たちのコードとリソースはhttps://github.com/tangg555/sabartで利用可能です。
関連論文リスト
- G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
本手法は,テキスト応答とグラフの関連部分をハイライトする。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs
in Language Pretraining [62.069374456021016]
議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。
また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
論文 参考訳(メタデータ) (2023-12-01T19:03:38Z) - GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。
GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文 参考訳(メタデータ) (2023-10-23T17:18:35Z) - Controlling Topic-Focus Articulation in Meaning-to-Text Generation using
Graph Neural Networks [8.334427140256606]
グラフニューラルモデルを用いたトピック・フォーカス調音法(TFA)の3つの異なる手法を試行する。
グラフニューラルモデルにおけるノードアグリゲーションに関する新しい符号化手法を提案する。これは、隣接ノード情報を集約することで従来の符号化ではなく、深さ優先探索を用いてノード表現を学習する。
論文 参考訳(メタデータ) (2023-10-03T13:51:01Z) - CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured
Knowledge Aggregation [21.331251731675668]
常識知識は多くの自然言語処理タスクに不可欠である。
既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。
これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
論文 参考訳(メタデータ) (2023-05-10T16:31:35Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳(メタデータ) (2023-05-04T16:04:41Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for
Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。
構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文 参考訳(メタデータ) (2020-04-25T04:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。