論文の概要: KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense
Reasoning
- arxiv url: http://arxiv.org/abs/2009.12677v2
- Date: Thu, 21 Jan 2021 06:02:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 09:02:24.303927
- Title: KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense
Reasoning
- Title(参考訳): KG-BART:生成コモンセンス推論のための知識グラフ強化BART
- Authors: Ye Liu, Yao Wan, Lifang He, Hao Peng, Philip S. Yu
- Abstract要約: 本稿では,学習前言語生成モデルKG-BARTを改良した知識グラフを提案する。
KG-BARTは知識グラフを通じて概念の複雑な関係を包含し、より論理的で自然な文を出力として生成する。
- 参考スコア(独自算出の注目度): 78.81080813406177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative commonsense reasoning which aims to empower machines to generate
sentences with the capacity of reasoning over a set of concepts is a critical
bottleneck for text generation. Even the state-of-the-art pre-trained language
generation models struggle at this task and often produce implausible and
anomalous sentences. One reason is that they rarely consider incorporating the
knowledge graph which can provide rich relational information among the
commonsense concepts. To promote the ability of commonsense reasoning for text
generation, we propose a novel knowledge graph augmented pre-trained language
generation model KG-BART, which encompasses the complex relations of concepts
through the knowledge graph and produces more logical and natural sentences as
output. Moreover, KG-BART can leverage the graph attention to aggregate the
rich concept semantics that enhances the model generalization on unseen concept
sets. Experiments on benchmark CommonGen dataset verify the effectiveness of
our proposed approach by comparing with several strong pre-trained language
generation models, particularly KG-BART outperforms BART by 5.80, 4.60, in
terms of BLEU-3, 4. Moreover, we also show that the generated context by our
model can work as background scenarios to benefit downstream commonsense QA
tasks.
- Abstract(参考訳): 機械が一連の概念を推論する能力を持つ文を生成することを目的とした生成コモンセンス推論は、テキスト生成にとって重要なボトルネックである。
最先端の事前訓練された言語生成モデルでさえ、このタスクに苦労し、しばしば不明瞭で異常な文を生成する。
ひとつの理由は、コモンセンスの概念の中で豊富な関係情報を提供できる知識グラフを組み込むことをほとんど検討していないためである。
テキスト生成におけるコモンセンス推論の能力を促進するために,知識グラフを通して概念の複雑な関係を包含し,より論理的で自然な文を出力として生成する,事前学習型言語生成モデルKG-BARTを提案する。
さらに、KG-BARTはグラフの注意を生かして、目に見えない概念集合のモデル一般化を強化するリッチな概念セマンティクスを集約することができる。
ベンチマークによるCommonGenデータセットの実験では、BLEU-3,4.60でBARTを5.80,460で上回り、トレーニング済みの強力な言語生成モデルとの比較により、提案手法の有効性が検証された。
さらに、我々のモデルが生成したコンテキストが背景シナリオとして機能し、下流のcommonsense QAタスクに役立てることを示す。
関連論文リスト
- Towards Foundation Models for Knowledge Graph Reasoning [20.14113476336901]
知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。
本稿では、普遍的および伝達可能なグラフ表現を学習するためのアプローチであるULTRAを提案する。
様々な大きさの未確認グラフ上の単一事前学習ULTRAモデルのゼロショット帰納的推論性能は、特定のグラフ上で訓練された強いベースラインよりも、しばしば同等かそれ以上である。
論文 参考訳(メタデータ) (2023-10-06T20:00:07Z) - Knowledge Graph-Augmented Language Models for Knowledge-Grounded
Dialogue Generation [58.65698688443091]
我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。
我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。
我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
論文 参考訳(メタデータ) (2023-05-30T08:36:45Z) - Contextualized Scene Imagination for Generative Commonsense Reasoning [35.03682416576795]
生成的コモンセンス推論スキルは、最先端のテキスト生成方法に欠けている。
本稿では,リレーショナルシーン知識グラフの想像を学習するI/V手法を提案する。
実験は、コンセプト・ツー・センスとコンセプト・ツー・ストーリー生成タスクにおいて、言語モデルを改善するためのI&Vの有効性を示す。
論文 参考訳(メタデータ) (2021-12-12T20:38:08Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z) - Language Generation with Multi-Hop Reasoning on Commonsense Knowledge
Graph [124.45799297285083]
知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。
本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
論文 参考訳(メタデータ) (2020-09-24T13:55:32Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z) - On the Role of Conceptualization in Commonsense Knowledge Graph
Construction [59.39512925793171]
アトミックやASERのような常識知識グラフ(CKG)は、従来のKGと大きく異なる。
本稿では, CKG の概念化手法を紹介し, テキストに記述されたエンティティを特定の概念のインスタンスとみなすか, あるいはその逆を例に紹介する。
提案手法は, 可塑性三重項を効果的に同定し, 新たなノードの3重項と, 多様性と新規性の両端項によってKGを拡張できる。
論文 参考訳(メタデータ) (2020-03-06T14:35:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。