論文の概要: SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2104.08793v1
• Date: Sun, 18 Apr 2021 09:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:06:32.269719
• Title: SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
• Title（参考訳）: SalKG: 常識推論のための知識グラフの説明から学ぶ
• Authors: Aaron Chan, Soumya Sanyal, Boyuan Long, Jiashu Xu, Tanishq Gupta, Xiang Ren
• Abstract要約: 知識グラフ(KG)による言語モデルの強化は、様々な常識推論タスクで成功した。 両粗いKG説明から学習するフレームワークであるSalKGを提案する(KGは健全か?)。 そして、良い(KGのどの部分がうんざりですか? SalKGのトレーニングプロセスはモデルの性能を継続的に改善できることがわかった。
• 参考スコア（独自算出の注目度）: 29.148731802458983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting pre-trained language models with knowledge graphs (KGs) has achieved success on various commonsense reasoning tasks. Although some works have attempted to explain the behavior of such KG-augmented models by indicating which KG inputs are salient (i.e., important for the model's prediction), it is not always clear how these explanations should be used to make the model better. In this paper, we explore whether KG explanations can be used as supervision for teaching these KG-augmented models how to filter out unhelpful KG information. To this end, we propose SalKG, a simple framework for learning from KG explanations of both coarse (Is the KG salient?) and fine (Which parts of the KG are salient?) granularity. Given the explanations generated from a task's training set, SalKG trains KG-augmented models to solve the task by focusing on KG information highlighted by the explanations as salient. Across two popular commonsense QA benchmarks and three KG-augmented models, we find that SalKG's training process can consistently improve model performance.
• Abstract（参考訳）: 知識グラフ(KG)を用いた事前学習言語モデルの強化は、様々な常識推論タスクで成功している。 どのようなkg入力が有望であるか(つまりモデル予測に重要である)を示すことによって、このようなkgモデルの振る舞いを説明する試みがあるが、これらの説明がモデルを改善するためにどのように使われるべきかは必ずしも明確ではない。 本稿では,これらのKG強化モデルに対して,KG説明を教師として用いることができるかどうかを考察する。 この目的のために,両粗いKG説明から学習するシンプルなフレームワークであるSalKGを提案する(KGは健全か?)。 そして、罰金(キログラムのどの部分がサリエントか? 粒度。 タスクのトレーニングセットから生成された説明を考えると、SalKGはKG強化されたモデルを訓練してタスクを解決する。 2つの一般的なコモンセンスQAベンチマークと3つのKG拡張モデルにまたがって、SalKGのトレーニングプロセスは一貫してモデル性能を改善することができる。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Context Graph [8.02985792541121]
  本稿では,大規模言語モデル(LLM)を活用して候補エンティティや関連するコンテキストを検索する,コンテキストグラフ推論のtextbfCGR$3$パラダイムを提案する。 実験の結果、CGR$3$はKG完了(KGC)およびKG質問応答(KGQA)タスクの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-17T02:59:19Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graphs are not Created Equal: Exploring the Properties and Structure of Real KGs [2.28438857884398]
  多様な領域から得られた29個の実知識グラフデータセットを解析し,その特性と構造パターンを解析する。 我々は、KGsに含まれる豊富な構造情報は、フィールド全体にわたるより良いKGモデルの開発に役立つと考えている。
  論文  参考訳（メタデータ） (2023-11-10T22:18:09Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)
• Identify, Align, and Integrate: Matching Knowledge Graphs to Commonsense Reasoning Tasks [81.03233931066009]
  与えられたタスクの目的に整合した知識グラフ(KG)を選択することは重要である。 候補者KGがタスクの推論のギャップを正しく識別し、正確に埋めることができるかを評価するアプローチを示す。 このkg-to-taskマッチングを,知識-タスク識別,知識-タスクアライメント,知識-タスク統合という3つのフェーズで示す。
  論文  参考訳（メタデータ） (2021-04-20T18:23:45Z)
• Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation [42.407209719347286]
  知識グラフ(KG)は、ニューラルネットワークが様々な知識集約タスクのパフォーマンスを向上させるのに役立つ。 強化学習政策により, 知覚的に摂動するKGを生成できることを示す。 以上の結果から,KGを付加したモデルがKG情報を解析し,合理的な説明を行う能力に疑問が生じる。
  論文  参考訳（メタデータ） (2020-10-24T11:04:45Z)
• Language Models are Open Knowledge Graphs [75.48081086368606]
  近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T18:01:56Z)
• IterefinE: Iterative KG Refinement Embeddings using Symbolic Knowledge [10.689559910656474]
  テキストソースから抽出された知識グラフ(KG)は、しばしばノイズが多く、KGベースの質問応答のような下流アプリケーションタスクではパフォーマンスが低下する。 最も成功したKG精製技術は、推論規則と推論監督の過剰な利用である。 本稿では,2つの手法を反復的に組み合わせたIterefinEというKG精製フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T14:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。