論文の概要: CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation

• arxiv url: http://arxiv.org/abs/2305.06294v3
• Date: Wed, 4 Sep 2024 10:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:10:38.098877
• Title: CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation
• Title（参考訳）: CADGE: グラフ構造化知識集約による文脈認識対話生成
• Authors: Hongbo Zhang, Chen Tang, Tyler Loakman, Chenghua Lin, Stefan Goetze,
• Abstract要約: 常識知識は多くの自然言語処理タスクに不可欠である。 既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。 これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 26.04092429944072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense knowledge is crucial to many natural language processing tasks. Existing works usually incorporate graph knowledge with conventional graph neural networks (GNNs), leading to the text and graph knowledge encoding processes being separated in a serial pipeline. We argue that these separate representation learning stages may be suboptimal for neural networks to learn the overall context contained in both types of input knowledge. In this paper, we propose a novel context-aware graph-attention model (Context-aware GAT), which can effectively incorporate global features of relevant knowledge graphs based on a context-enhanced knowledge aggregation process. Specifically, our framework leverages a novel representation learning approach to process heterogeneous features - combining flattened graph knowledge with text. To the best of our knowledge, this is the first attempt at hierarchically applying graph knowledge aggregation on a connected subgraph in addition to contextual information to support commonsense dialogue generation. This framework shows superior performance compared to conventional GNN-based language frameworks. Both automatic and human evaluation demonstrates that our proposed model has significant performance uplifts over state-of-the-art baselines.
• Abstract（参考訳）: 常識知識は多くの自然言語処理タスクに不可欠である。 既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。 これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。 本稿では,コンテキスト対応の知識集約プロセスに基づいて,関連する知識グラフのグローバルな特徴を効果的に組み込むことのできる,コンテキスト対応のグラフアテンションモデルを提案する。 具体的には、フラットなグラフ知識とテキストを組み合わせることで、不均一な特徴を処理するために、新しい表現学習アプローチを活用している。 我々の知識を最大限に活用するために、コモンセンス対話生成を支援する文脈情報に加えて、連結されたサブグラフにグラフ知識集約を階層的に適用する最初の試みである。 このフレームワークは従来のGNNベースの言語フレームワークと比較して優れたパフォーマンスを示している。 自動評価と人的評価の両方で,提案モデルが最先端のベースラインに対して顕著な性能向上を示した。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
  従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。 このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。 知識グラフ強化対話生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T13:21:00Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Edge: Enriching Knowledge Graph Embeddings with External Text [32.01476220906261]
  We propose a knowledge graph enrichment and embedded framework named Edge。 元の知識グラフが与えられたら、まず、セマンティックおよび構造レベルで外部テキストを使用してリッチだがノイズの多い拡張グラフを生成する。 関連する知識を抽出し,導入した雑音を抑制するため,元のグラフと拡張グラフとの共有埋め込み空間におけるグラフアライメント項を設計する。
  論文  参考訳（メタデータ） (2021-04-11T03:47:06Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts [81.4757750425247]
  動的テキスト環境における質問応答について検討する。 構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2020-04-25T04:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。