Fugu-MT 論文翻訳(概要): Commonsense Knowledge-Augmented Pretrained Language Models for Causal Reasoning Classification

論文の概要: Commonsense Knowledge-Augmented Pretrained Language Models for Causal Reasoning Classification

arxiv url: http://arxiv.org/abs/2112.08615v1
Date: Thu, 16 Dec 2021 04:38:40 GMT
ステータス: 処理完了
システム内更新日: 2021-12-17 15:59:57.997458
Title: Commonsense Knowledge-Augmented Pretrained Language Models for Causal Reasoning Classification
Title（参考訳）: 因果推論分類のための常識知識強化事前学習言語モデル
Authors: Pedram Hosseini, David A. Broniatowski, Mona Diab
Abstract要約: ATOMIC2020では、自然言語の文章を言語化するために、広範にわたるコモンセンス推論知識グラフを3倍にします。そこで我々は,コモンセンス推論質問に対する回答モデルの評価を行った。
参考スコア（独自算出の注目度）: 9.313899406300644
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Commonsense knowledge can be leveraged for identifying causal relations in text. In this work, we verbalize triples in ATOMIC2020, a wide coverage commonsense reasoning knowledge graph, to natural language text and continually pretrain a BERT pretrained language model. We evaluate the resulting model on answering commonsense reasoning questions. Our results show that a continually pretrained language model augmented with commonsense reasoning knowledge outperforms our baseline on two commonsense causal reasoning benchmarks, COPA and BCOPA-CE, without additional improvement on the base model or using quality-enhanced data for fine-tuning.
Abstract（参考訳）: コモンセンス知識はテキスト中の因果関係を識別するために利用することができる。本研究では,ATOMIC2020において,広範囲のコモンセンス推論知識グラフ(Commonsense reasoning knowledge graph)を自然言語テキストに適用し,BERT事前学習言語モデルを継続的に事前訓練する。共感覚推論質問に対する回答モデルの評価を行った。この結果から,コモンセンス推論知識を付加した事前学習型言語モデルは,ベースモデルの改良や品質向上データによる微調整を伴わずに,COPAとBCOPA-CEの2つのコモンセンス因果推論ベンチマークにおいて,ベースラインよりも優れていた。

関連論文リスト

Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文参考訳（メタデータ） (2024-10-22T09:25:21Z)
Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文参考訳（メタデータ） (2023-06-04T15:44:51Z)
Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
論文参考訳（メタデータ） (2022-01-01T07:12:49Z)
Does Pre-training Induce Systematic Inference? How Masked Language Models Acquire Commonsense Knowledge [91.15301779076187]
プレトレーニング中のBERTモデルのミニバッチに言語知識を導入し、モデルがサポート対象の推論にどの程度うまく一般化するかを評価する。一般化は事前学習の過程では改善せず, 帰納的, 体系的推論ではなく, 表面的, 共起的パターンからコモンセンス知識が獲得されることが示唆された。
論文参考訳（メタデータ） (2021-12-16T03:13:04Z)
Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文参考訳（メタデータ） (2021-10-15T21:58:03Z)
A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
論文参考訳（メタデータ） (2020-11-02T13:25:39Z)
Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
論文参考訳（メタデータ） (2020-10-17T16:49:43Z)
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph [124.45799297285083]
知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
論文参考訳（メタデータ） (2020-09-24T13:55:32Z)
Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
論文参考訳（メタデータ） (2020-06-21T17:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。