論文の概要: KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2009.12677v2
• Date: Thu, 21 Jan 2021 06:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 09:02:24.303927
• Title: KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning
• Title（参考訳）: KG-BART:生成コモンセンス推論のための知識グラフ強化BART
• Authors: Ye Liu, Yao Wan, Lifang He, Hao Peng, Philip S. Yu
• Abstract要約: 本稿では,学習前言語生成モデルKG-BARTを改良した知識グラフを提案する。 KG-BARTは知識グラフを通じて概念の複雑な関係を包含し、より論理的で自然な文を出力として生成する。
• 参考スコア（独自算出の注目度）: 78.81080813406177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative commonsense reasoning which aims to empower machines to generate sentences with the capacity of reasoning over a set of concepts is a critical bottleneck for text generation. Even the state-of-the-art pre-trained language generation models struggle at this task and often produce implausible and anomalous sentences. One reason is that they rarely consider incorporating the knowledge graph which can provide rich relational information among the commonsense concepts. To promote the ability of commonsense reasoning for text generation, we propose a novel knowledge graph augmented pre-trained language generation model KG-BART, which encompasses the complex relations of concepts through the knowledge graph and produces more logical and natural sentences as output. Moreover, KG-BART can leverage the graph attention to aggregate the rich concept semantics that enhances the model generalization on unseen concept sets. Experiments on benchmark CommonGen dataset verify the effectiveness of our proposed approach by comparing with several strong pre-trained language generation models, particularly KG-BART outperforms BART by 5.80, 4.60, in terms of BLEU-3, 4. Moreover, we also show that the generated context by our model can work as background scenarios to benefit downstream commonsense QA tasks.
• Abstract（参考訳）: 機械が一連の概念を推論する能力を持つ文を生成することを目的とした生成コモンセンス推論は、テキスト生成にとって重要なボトルネックである。 最先端の事前訓練された言語生成モデルでさえ、このタスクに苦労し、しばしば不明瞭で異常な文を生成する。 ひとつの理由は、コモンセンスの概念の中で豊富な関係情報を提供できる知識グラフを組み込むことをほとんど検討していないためである。 テキスト生成におけるコモンセンス推論の能力を促進するために,知識グラフを通して概念の複雑な関係を包含し,より論理的で自然な文を出力として生成する,事前学習型言語生成モデルKG-BARTを提案する。 さらに、KG-BARTはグラフの注意を生かして、目に見えない概念集合のモデル一般化を強化するリッチな概念セマンティクスを集約することができる。 ベンチマークによるCommonGenデータセットの実験では、BLEU-3,4.60でBARTを5.80,460で上回り、トレーニング済みの強力な言語生成モデルとの比較により、提案手法の有効性が検証された。 さらに、我々のモデルが生成したコンテキストが背景シナリオとして機能し、下流のcommonsense QAタスクに役立てることを示す。

関連論文リスト

• A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
  そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。 クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。 そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:18Z)
• Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation [58.65698688443091]
  我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。 我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。 我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
  論文  参考訳（メタデータ） (2023-05-30T08:36:45Z)
• CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
  コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。 これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。 実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-10T16:31:35Z)
• Contextualized Scene Imagination for Generative Commonsense Reasoning [35.03682416576795]
  生成的コモンセンス推論スキルは、最先端のテキスト生成方法に欠けている。 本稿では,リレーショナルシーン知識グラフの想像を学習するI/V手法を提案する。 実験は、コンセプト・ツー・センスとコンセプト・ツー・ストーリー生成タスクにおいて、言語モデルを改善するためのI&Vの有効性を示す。
  論文  参考訳（メタデータ） (2021-12-12T20:38:08Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph [124.45799297285083]
  知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
  論文  参考訳（メタデータ） (2020-09-24T13:55:32Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• On the Role of Conceptualization in Commonsense Knowledge Graph Construction [59.39512925793171]
  アトミックやASERのような常識知識グラフ(CKG)は、従来のKGと大きく異なる。 本稿では, CKG の概念化手法を紹介し, テキストに記述されたエンティティを特定の概念のインスタンスとみなすか, あるいはその逆を例に紹介する。 提案手法は, 可塑性三重項を効果的に同定し, 新たなノードの3重項と, 多様性と新規性の両端項によってKGを拡張できる。
  論文  参考訳（メタデータ） (2020-03-06T14:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。