論文の概要: SalKG: Learning From Knowledge Graph Explanations for Commonsense
Reasoning
- arxiv url: http://arxiv.org/abs/2104.08793v1
- Date: Sun, 18 Apr 2021 09:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:06:32.269719
- Title: SalKG: Learning From Knowledge Graph Explanations for Commonsense
Reasoning
- Title(参考訳): SalKG: 常識推論のための知識グラフの説明から学ぶ
- Authors: Aaron Chan, Soumya Sanyal, Boyuan Long, Jiashu Xu, Tanishq Gupta,
Xiang Ren
- Abstract要約: 知識グラフ(KG)による言語モデルの強化は、様々な常識推論タスクで成功した。
両粗いKG説明から学習するフレームワークであるSalKGを提案する(KGは健全か?)。
そして、良い(KGのどの部分がうんざりですか?
SalKGのトレーニングプロセスはモデルの性能を継続的に改善できることがわかった。
- 参考スコア(独自算出の注目度): 29.148731802458983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmenting pre-trained language models with knowledge graphs (KGs) has
achieved success on various commonsense reasoning tasks. Although some works
have attempted to explain the behavior of such KG-augmented models by
indicating which KG inputs are salient (i.e., important for the model's
prediction), it is not always clear how these explanations should be used to
make the model better. In this paper, we explore whether KG explanations can be
used as supervision for teaching these KG-augmented models how to filter out
unhelpful KG information. To this end, we propose SalKG, a simple framework for
learning from KG explanations of both coarse (Is the KG salient?) and fine
(Which parts of the KG are salient?) granularity. Given the explanations
generated from a task's training set, SalKG trains KG-augmented models to solve
the task by focusing on KG information highlighted by the explanations as
salient. Across two popular commonsense QA benchmarks and three KG-augmented
models, we find that SalKG's training process can consistently improve model
performance.
- Abstract(参考訳): 知識グラフ(KG)を用いた事前学習言語モデルの強化は、様々な常識推論タスクで成功している。
どのようなkg入力が有望であるか(つまりモデル予測に重要である)を示すことによって、このようなkgモデルの振る舞いを説明する試みがあるが、これらの説明がモデルを改善するためにどのように使われるべきかは必ずしも明確ではない。
本稿では,これらのKG強化モデルに対して,KG説明を教師として用いることができるかどうかを考察する。
この目的のために,両粗いKG説明から学習するシンプルなフレームワークであるSalKGを提案する(KGは健全か?)。
そして、罰金(キログラムのどの部分がサリエントか?
粒度。
タスクのトレーニングセットから生成された説明を考えると、SalKGはKG強化されたモデルを訓練してタスクを解決する。
2つの一般的なコモンセンスQAベンチマークと3つのKG拡張モデルにまたがって、SalKGのトレーニングプロセスは一貫してモデル性能を改善することができる。
関連論文リスト
- Knowledge Graphs are not Created Equal: Exploring the Properties and
Structure of Real KGs [2.28438857884398]
多様な領域から得られた29個の実知識グラフデータセットを解析し,その特性と構造パターンを解析する。
我々は、KGsに含まれる豊富な構造情報は、フィールド全体にわたるより良いKGモデルの開発に役立つと考えている。
論文 参考訳(メタデータ) (2023-11-10T22:18:09Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - On the Sweet Spot of Contrastive Views for Knowledge-enhanced
Recommendation [49.18304766331156]
KG強化推薦のための新しいコントラスト学習フレームワークを提案する。
我々は、KGとIGのための2つの異なるコントラストビューを構築し、それらの相互情報を最大化する。
実世界の3つのデータセットに対する大規模な実験結果から,本手法の有効性と有効性が確認された。
論文 参考訳(メタデータ) (2023-09-23T14:05:55Z) - Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for
Knowledge Graph Question Answering [16.434098552925427]
本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。
そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-20T10:42:08Z) - Joint Pre-training and Local Re-training: Transferable Representation
Learning on Multi-source Knowledge Graphs [17.78174810566248]
我々は、リンクされたマルチソースKG上で大規模な教師KG埋め込みモデルを事前訓練し、課題固有のKGのための学生モデルを学ぶための知識を蒸留する。
フレームワークの有効性と効率を実証するために、広範な実験を行う。
論文 参考訳(メタデータ) (2023-06-05T08:11:59Z) - Identify, Align, and Integrate: Matching Knowledge Graphs to Commonsense
Reasoning Tasks [81.03233931066009]
与えられたタスクの目的に整合した知識グラフ(KG)を選択することは重要である。
候補者KGがタスクの推論のギャップを正しく識別し、正確に埋めることができるかを評価するアプローチを示す。
このkg-to-taskマッチングを,知識-タスク識別,知識-タスクアライメント,知識-タスク統合という3つのフェーズで示す。
論文 参考訳(メタデータ) (2021-04-20T18:23:45Z) - Learning to Deceive Knowledge Graph Augmented Models via Targeted
Perturbation [42.407209719347286]
知識グラフ(KG)は、ニューラルネットワークが様々な知識集約タスクのパフォーマンスを向上させるのに役立つ。
強化学習政策により, 知覚的に摂動するKGを生成できることを示す。
以上の結果から,KGを付加したモデルがKG情報を解析し,合理的な説明を行う能力に疑問が生じる。
論文 参考訳(メタデータ) (2020-10-24T11:04:45Z) - Language Models are Open Knowledge Graphs [75.48081086368606]
近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。
本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。
KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
論文 参考訳(メタデータ) (2020-10-22T18:01:56Z) - IterefinE: Iterative KG Refinement Embeddings using Symbolic Knowledge [10.689559910656474]
テキストソースから抽出された知識グラフ(KG)は、しばしばノイズが多く、KGベースの質問応答のような下流アプリケーションタスクではパフォーマンスが低下する。
最も成功したKG精製技術は、推論規則と推論監督の過剰な利用である。
本稿では,2つの手法を反復的に組み合わせたIterefinEというKG精製フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-03T14:05:54Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳(メタデータ) (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。