論文の概要: Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

• arxiv url: http://arxiv.org/abs/2009.11692v1
• Date: Thu, 24 Sep 2020 13:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:48:39.240897
• Title: Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
• Title（参考訳）: Commonsense Knowledge Graphを用いたマルチホップ推論による言語生成
• Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
• 参考スコア（独自算出の注目度）: 124.45799297285083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of generative pre-trained language models on a series of text generation tasks, they still suffer in cases where reasoning over underlying commonsense knowledge is required during generation. Existing approaches that integrate commonsense knowledge into generative pre-trained language models simply transfer relational knowledge by post-training on individual knowledge triples while ignoring rich connections within the knowledge graph. We argue that exploiting both the structural and semantic information of the knowledge graph facilitates commonsense-aware text generation. In this paper, we propose Generation with Multi-Hop Reasoning Flow (GRF) that enables pre-trained models with dynamic multi-hop reasoning on multi-relational paths extracted from the external commonsense knowledge graph. We empirically show that our model outperforms existing baselines on three text generation tasks that require reasoning over commonsense knowledge. We also demonstrate the effectiveness of the dynamic multi-hop reasoning module with reasoning paths inferred by the model that provide rationale to the generation.
• Abstract（参考訳）: 一連のテキスト生成タスクにおける生成事前学習言語モデルの成功にもかかわらず、これらは生成中に基礎となるコモンセンス知識の推論が必要な場合にも悩まされる。 コモンセンス知識を生成事前学習言語モデルに統合する既存のアプローチは、知識グラフ内のリッチな関係を無視しながら、個々の知識トリプルをトレーニングした後でリレーショナル知識を伝達する。 知識グラフの構造的情報と意味的情報の両方を活用することで、常識的テキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するための,マルチホップ推論フロー生成(GRF)を提案する。 我々は,本モデルが,コモンセンス知識の推論を必要とする3つのテキスト生成タスクにおいて,既存のベースラインよりも優れていることを実証的に示す。 また,生成の理論的根拠を提供するモデルによって推論パスが推定される動的マルチホップ推論モジュールの有効性を実証する。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling [43.0554223015728]
  知識基盤対話タスクは、与えられた知識文書から情報を伝える応答を生成することを目的としている。 対話と知識の両方のセマンティック構造をモデル化する新しいグラフ構造であるグラウンドドグラフを提案する。 また,知識接地応答生成を向上するグラウンドドグラフ認識変換器を提案する。
  論文  参考訳（メタデータ） (2022-04-27T03:31:46Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning [78.81080813406177]
  本稿では,学習前言語生成モデルKG-BARTを改良した知識グラフを提案する。 KG-BARTは知識グラフを通じて概念の複雑な関係を包含し、より論理的で自然な文を出力として生成する。
  論文  参考訳（メタデータ） (2020-09-26T19:57:49Z)
• Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering [35.40919477319811]
  本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。 外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。 パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2020-05-01T23:10:26Z)
• A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation [98.25464306634758]
  本稿では,外部知識ベースからのコモンセンス知識を利用して,合理的なストーリーを生成することを提案する。 我々は,真と偽のストーリーを識別するための差別的目的を組み合わせたマルチタスク学習を採用している。 我々のモデルは、特に論理学とグローバルコヒーレンスの観点から、最先端のベースラインよりも合理的なストーリーを生成することができる。
  論文  参考訳（メタデータ） (2020-01-15T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。